Expectation, Variance & Covariance

১. ভূমিকা

আগের চ্যাপ্টারে তুমি অনিশ্চিত ফলাফলকে সংখ্যায় রূপান্তর করা শিখেছো — random variable — আর সংক্ষেপে এর mean আর spread নিয়েও কথা বলেছো। এই চ্যাপ্টারে সেই দুইটা আইডিয়া — expectation আর variance — একদম শুরু থেকে গড়ে তোলা হবে, আর তৃতীয় একটা আইডিয়া — covariance — যোগ হবে, যেটা বলে দুইটা random variable কীভাবে একসাথে বদলায়।

এই তিনটা সংখ্যা এত গুরুত্বপূর্ণ কেন? কারণ একটা পুরো probability distribution — একটা গোটা PMF টেবিল, বা একটা গোটা PDF কার্ভ — অনেক তথ্য বহন করে। বেশিরভাগ সময় তোমার পুরো শেপের প্রতিটা ডিটেইল লাগে না; লাগে কয়েকটা সামারি সংখ্যা, যেগুলো মানুষ আসলেই জিজ্ঞেস করে এমন প্রশ্নের উত্তর দেয়: "সাধারণ মান কত?" (expectation), "সেই সাধারণ মানের চারপাশে কতটা ছড়িয়ে আছে?" (variance), আর "যখন এই ভ্যারিয়েবলটা বেশি, তখন অন্য ভ্যারিয়েবলটাও কি বেশি হওয়ার প্রবণতা দেখায়?" (covariance)। তিনটা সংখ্যা, আর হঠাৎ করেই বিশাল রকম ডেটা এমন কিছুতে পরিণত হয় যা নিয়ে তুমি চিন্তা করতে পারো, তুলনা করতে পারো, আর সিদ্ধান্ত নিতে পারো।

মেশিন লার্নিং-এ এই কনসেপ্টগুলো কেন গুরুত্বপূর্ণ

এগুলো শুধু স্ট্যাটিসটিক্স ক্লাসের বিমূর্ত জিনিস না। প্রতিবার যখন একটা মডেল ট্রেইন করা হয়, সে আসলে একটা expected loss মিনিমাইজ করছে। প্রতিবার যখন একটা মডেলকে একাধিকবার ট্রেইন করে মূল্যায়ন করা হয়, তার variance-ই বলে দেয় সে নির্ভরযোগ্য নাকি অস্থির। প্রতিবার যখন ফিচারগুলো তুলনা করা হয়, রিডানডেন্সির জন্য স্ক্রিন করা হয়, বা PCA-তে ফিড করা হয় — covariance-ই সেই কাজটা করছে। এই চ্যাপ্টার ঠিক সেই ভোকাবুলারিটাই তৈরি করে, যেটা দিয়ে bias-variance tradeoff, regularization, PCA, আর Gaussian মডেল লেখা হয়।

Random Variable আর তাদের Distribution — একটা দ্রুত রিমাইন্ডার

মনে করে দেখো: একটা random variable $X$ তার distribution অনুযায়ী মান নেয় — $X$ discrete হলে একটা PMF $p(x)$, আর continuous হলে একটা PDF $f(x)$। এই চ্যাপ্টারের সবকিছুই সেই distribution থেকে হিসাব করা হয়। distribution বদলালে, সেখান থেকে হিসাব করা প্রতিটা expectation, variance, আর covariance-ও বদলে যায় — এগুলো একটা distribution-এর বৈশিষ্ট্য, আলাদা কিছু না।

Mean আর Spread দিয়ে ডেটা বোঝা

দুইটা ফ্যাক্টরির কথা ভাবো, দুটোই এমন বোল্ট বানায় যাদের গড় ব্যাস 10mm। ফ্যাক্টরি A-এর বোল্টগুলো প্রায় সবসময়ই 10mm থেকে 0.01mm-এর মধ্যে থাকে। ফ্যাক্টরি B-এর বোল্টগুলো 9mm থেকে 11mm পর্যন্ত দুলতে থাকে। একই গড়, কিন্তু নির্ভরযোগ্যতা সম্পূর্ণ আলাদা। শুধু গড় (expectation) বলে দেয় ডেটা কোথায় কেন্দ্রীভূত; সেই কেন্দ্র বিশ্বাসযোগ্য নাকি এলোমেলো গড়ের ফলাফল, সেটা বুঝতে দ্বিতীয় একটা সংখ্যা (variance) লাগবে। এই চ্যাপ্টার মূলত দুটো প্রশ্নই সবসময় একসাথে জিজ্ঞেস করা শেখানো, কখনো শুধু একটা না।

২. Expectation / প্রত্যাশিত মান

২.১ Expectation কী?

একটা random variable-এর expected value, $E[X]$ লেখা হয়, হলো সেই লং-রান গড় মান যেটা তুমি পেতে, যদি তুমি সেই র‍্যান্ডম এক্সপেরিমেন্টটা বিপুল সংখ্যক বার রিপিট করে ফলাফলগুলোর গড় নিতে। একে সেই random variable-এর mean-ও বলা হয়।

ইনটুইশন। একটা fair ডাইস দশ লাখ বার রোল করে সব রোলের গড় নেওয়ার কথা ভাবো। তুমি ঠিক 3.5 পাবে না (কোনো একটা রোলই কখনো 3.5 হতে পারে না), কিন্তু দশ লাখ রোলের গড় 3.5-এর খুব কাছাকাছি চলে আসবে। সেই লিমিটিং মান — যেখানে ট্রায়াল সংখ্যা যত বাড়তে থাকে গড়টা তত সেই মানের দিকে এগোতে থাকে — সেটাই $E[X]$।

$E[X]$ একটা weighted average — $X$-এর প্রতিটা সম্ভাব্য মানকে তার probability দিয়ে ওজন দেওয়া হয়, তারপর সব যোগ করা হয়। এখানেই সাধারণ arithmetic mean থেকে এর মূল পার্থক্য।

২.২ Discrete Random Variable-এর Expectation

$$E[X] = \sum_{x} x \cdot p_X(x)$$

যেখানে: প্রতিটা সম্ভাব্য মান $x$-কে সেই মানের probability $p_X(x)$ দিয়ে গুণ করো, তারপর সব প্রোডাক্ট যোগ করো। যেসব মান বেশি ঘটে, সেগুলো যোগফলটাকে নিজের দিকে বেশি টেনে নেয় — এখানেই "ওজন দেওয়া" মানে।

হিসাব করা উদাহরণ। একটা fair কয়েন ৩ বার টস করা হলো; $X$ = হেডসের সংখ্যা, PMF: $p(0)=\frac18, p(1)=\frac38, p(2)=\frac38, p(3)=\frac18$।

$$E[X] = (0)\left(\tfrac18\right) + (1)\left(\tfrac38\right) + (2)\left(\tfrac38\right) + (3)\left(\tfrac18\right) = \tfrac{0+3+6+3}{8} = \tfrac{12}{8} = 1.5$$

লক্ষ্য করো, $E[X]=1.5$ এমন কোনো মান না যা $X$ আসলে কখনো নিতে পারে (তিন টসের কোনো একটা সেটে তুমি "1.5 হেডস" পাবে না) — expectation বহুবার রিপিট করার লং-রান গড় বর্ণনা করে, একটা একক ট্রায়াল সম্পর্কে ভবিষ্যদ্বাণী না।

২.৩ Continuous Random Variable-এর Expectation

$$E[X] = \int_{-\infty}^{\infty} x \cdot f_X(x)\, dx$$

যেখানে: একই weighted-average আইডিয়া, শুধু sum-এর জায়গায় ইন্টিগ্রাল আর PMF $p(x)$-এর জায়গায় density $f(x)$ — $x$-এর প্রতিটা অসীম-পাতলা স্লাইসকে তার density দিয়ে ওজন দিয়ে যোগ (accumulate) করা হয়।

হিসাব করা উদাহরণ। ধরো $X$-এর density $f(x) = 2x$, $0 \le x \le 1$-এর জন্য (বাকি সব জায়গায় 0) — একটা ভ্যালিড PDF, কারণ $\int_0^1 2x\,dx = 1$।

$$E[X] = \int_0^1 x \cdot 2x\, dx = \int_0^1 2x^2\, dx = \left[\tfrac{2x^3}{3}\right]_0^1 = \tfrac{2}{3} \approx 0.667$$

যেহেতু $f(x)=2x$ বড় $x$-মানের দিকে বেশি density দেয়, তাই $E[X] \approx 0.667$ $[0,1]$-এর মাঝামাঝি বিন্দু (0.5) থেকে উপরে থাকাটাই স্বাভাবিক।

২.৪ Expectation-এর Properties

Expectation সম্পর্কে সবচেয়ে কাজের ফ্যাক্টটা হলো এটা linear — sum আর constant গুণের মধ্য দিয়ে পরিষ্কারভাবে ছড়িয়ে যায়, আর অবাক করা ব্যাপার হলো, এটা তখনও সত্যি যখন এতে থাকা random variable-গুলো একে অপরের উপর নির্ভরশীল।

$$E[aX + bY + c] = a\,E[X] + b\,E[Y] + c$$

যেখানে: $a, b, c$ যেকোনো constant, আর এই আইডেন্টিটি সত্যি হবে $X$ আর $Y$ independent হোক, correlated হোক, বা মাঝামাঝি যাই হোক না কেন।

২.৫ Higher-Order Moments

$E[X]$-কে $X$-এর first moment বলা হয়। আরো সাধারণভাবে, $k$-তম raw moment হলো $E[X^k]$:

Raw moment বনাম central moment। একটা raw moment ($E[X^k]$) মাপা হয় অরিজিন (0) থেকে। একটা central moment ($E[(X-\mu)^k]$) মাপা হয় distribution-এর নিজের মিন $\mu$ থেকে। Variance (সেকশন ৩) হলো ঠিক দ্বিতীয় central moment — এটা $X$-এর দ্বিতীয় moment না, বরং মিন থেকে ডেভিয়েশনের দ্বিতীয় moment। এই পার্থক্যটা গুরুত্বপূর্ণ, কারণ পুরো distribution শিফট করলে raw moment বদলে যায়, কিন্তু central moment (প্রথমটা ছাড়া, যেটা সবসময় 0) বদলায় না — সেগুলো শুধু শেপ বর্ণনা করে, লোকেশন না।

৩. Variance

৩.১ Variance কী?

$E[X]$ বলে দেয় একটা distribution কোথায় কেন্দ্রীভূত, কিন্তু বলে না তার মানগুলো কতটা ছড়িয়ে আছে — আর সেকশন ১-এর দুই ফ্যাক্টরির গল্পটা যেমন দেখিয়েছে, দুইটা distribution একই মিন শেয়ার করেও সম্পূর্ণ আলাদা আচরণ করতে পারে। Variance ঠিক সেই ফাঁকটাই পূরণ করে: এটা মাপে $X$ তার নিজের মিন থেকে কতটা দূরে থাকার প্রত্যাশা করা যায়, স্কয়ার করে।

৩.২ Variance হিসাব করা

Discrete random variable-এর জন্য:

$$\text{Var}(X) = \sum_x (x - E[X])^2\, p_X(x)$$

Continuous random variable-এর জন্য:

$$\text{Var}(X) = \int_{-\infty}^{\infty} (x - E[X])^2\, f_X(x)\, dx$$

দুই ক্ষেত্রেই রেসিপি একই — তিন ধাপ: প্রতিটা মানের মিন থেকে ডেভিয়েশন বের করো ($x - E[X]$), স্কয়ার করো, তারপর সেই স্কয়ার করা ডেভিয়েশনগুলোর probability-weighted গড় নাও — ঠিক $E[X]$-এর মতো একই ওজন দেওয়ার মেকানিজম, শুধু $x$-এর বদলে $(x-E[X])^2$-এর উপর প্রয়োগ করা।

৩.৩ গুরুত্বপূর্ণ Variance ফর্মুলা

$$\text{Var}(X) = E[(X - E[X])^2] = E[X^2] - (E[X])^2$$

যেখানে: প্রথম রূপটা সেকশন ৩.২-এর সরাসরি সংজ্ঞা। দ্বিতীয় রূপটা algebraically একই জিনিস, কিন্তু প্র্যাকটিসে হিসাব করা প্রায় সবসময়ই অনেক সহজ, কারণ এতে শুধু দুইটা সাধারণ expectation লাগে — $E[X]$ আর $E[X^2]$ — মিনকে কেন্দ্র করে নতুন করে হিসাব করার দরকার নেই।

হিসাব করা উদাহরণ — একটা fair ডাইস রোল। $E[X] = 3.5$, আর $E[X^2] = \frac{1^2+2^2+3^2+4^2+5^2+6^2}{6} = \frac{91}{6} \approx 15.167$।

$$\text{Var}(X) = 15.167 - (3.5)^2 = 15.167 - 12.25 = 2.917$$

৩.৪ Variance-এর Properties

৩.৫ Standard Deviation

$$\text{SD}(X) = \sqrt{\text{Var}(X)}$$

যেখানে: স্কয়ার রুট নিলে variance-এর ইউনিট — $X$-এর স্কয়ার করা ইউনিট, যেমন "টাকা²" বা "cm²" — আবার $X$-এর নিজের ইউনিটে ফিরে আসে। এই কারণেই মানুষ সাধারণত variance না, স্ট্যান্ডার্ড ডেভিয়েশন রিপোর্ট করে আর ইন্টারপ্রেট করে।

Standard deviation হলো "মিন থেকে সাধারণ দূরত্ব"। একটা উচ্চতার distribution-এর SD সেন্টিমিটারে রিপোর্ট করা হয়, cm²-তে না — ঠিক এই কারণেই, যেন সরাসরি উচ্চতাগুলোর সাথে তুলনা করা যায়। একটা ছোট SD মানে মানগুলো মিনের চারপাশে টাইট হয়ে জড়ো; একটা বড় SD মানে মানগুলো প্রায়ই মিন থেকে অনেক দূরে পাওয়া যায়। ডাইসের উদাহরণে ফিরে গেলে: $\text{SD}(X) = \sqrt{2.917} \approx 1.708$ — একটা সাধারণ রোল মিন 3.5 থেকে প্রায় 1.7 ইউনিট দূরে পড়ে।

একটা বারের ওজন সম্পূর্ণ উপরে টেনে দাও বাকিগুলো সংকুচিত হতে থাকা অবস্থায় — দেখো Var(X) প্রায় 0-তে নেমে আসছে, যখন distribution প্রায় একটা নিশ্চিত মানে পরিণত হচ্ছে, তারপর ওজন আবার কয়েকটা বারে ছড়িয়ে দিলে আবার ছড়িয়ে যাচ্ছে।

৪. Moment আর Distribution-এর Shape

সেকশন ২.৫ moment-গুলোকে একটা পরিবার হিসেবে পরিচয় করিয়েছিল; এই সেকশনে দেখব কেন্দ্র আর spread ছাড়া প্রতিটা moment একটা distribution-এর শেপ সম্পর্কে কী বলে।

সিমেট্রিক বনাম স্কিউড distribution। একটা distribution সিমেট্রিক, যদি তার বাম অর্ধেক মিনের চারপাশে ডান অর্ধেকের আয়নাপ্রতিবিম্ব হয় (একটা fair ডাইস রোল, একটা Normal distribution)। এটা skewed, যদি একটা টেইল অন্যটার চেয়ে বেশি লম্বা হয় — positive (ডান) skew মানে বড় মানের দিকে একটা লম্বা টেইল (পারিবারিক আয় একটা ক্লাসিক উদাহরণ: বেশিরভাগ মানুষ মাঝারি রকম আয় করে, কিন্তু খুব বেশি আয়কারীদের একটা লম্বা টেইল মিনকে সাধারণ/মিডিয়ান মানের উপরে টেনে নেয়), আর negative (বাম) skew তার আয়নাপ্রতিবিম্ব ঘটনা।

Distribution বোঝায় moment-এর ভূমিকা। প্র্যাকটিসে প্রথম দুইটা moment (মিন, variance) সবসময় ব্যবহার হয়; skewness আর kurtosis বেছে বেছে ব্যবহার হয় — মূলত এটা চেক করতে যে "মোটামুটি Normal"-এর মতো কোনো ধারণা যুক্তিসঙ্গত কি না, এমন কোনো পদ্ধতি (যেমন অনেক ক্লাসিক্যাল স্ট্যাটিসটিক্যাল টেস্ট) প্রয়োগ করার আগে যা সেই ধারণার উপর নির্ভর করে।

৫. Covariance

৫.১ Covariance কী?

Expectation আর variance দুটোই একটা random variable বর্ণনা করে। Covariance হলো দুইটা random variable-এর জন্য স্বাভাবিক সম্প্রসারণ: এটা মাপে $X$ আর $Y$ একসাথে বদলাতে চায়, বিপরীতভাবে বদলাতে চায়, নাকি কোনো linear সম্পর্কই দেখায় না।

ইনটুইশন। "X তার নিজের মিন থেকে সাধারণত কতটা দূরে থাকে" জিজ্ঞেস করার বদলে, covariance জিজ্ঞেস করে "যখন X তার মিনের উপরে থাকে, Y-ও কি একই সময়ে তার মিনের উপরে থাকার প্রবণতা দেখায়?" — joint variation মাপা হয়, শুধু individual variation না।

৫.২ Covariance হিসাব করা

Population covariance (একটা পুরো, জানা distribution থেকে হিসাব করা — X আর Y-এর joint PMF বা PDF):

$$\text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])]$$

Sample covariance (পর্যবেক্ষিত $n$টা ডেটা পেয়ার $(x_i, y_i)$ থেকে অনুমান করা, যখন তুমি আসল distribution জানো না আর শুধু ডেটা আছে):

$$s_{XY} = \frac{1}{n-1}\sum_{i=1}^{n} (x_i - \bar x)(y_i - \bar y)$$

Population সংস্করণ আসল expectation $E[X], E[Y]$ ব্যবহার করে underlying distribution থেকে; sample সংস্করণ সেগুলো অনুমান করে sample mean $\bar x, \bar y$ দিয়ে, আসল পর্যবেক্ষিত ডেটা থেকে, আর $n$-এর বদলে $n-1$ দিয়ে ভাগ করে — যে কারণে সাধারণ পরিচিতি ক্লাসের sample-variance correction-এর সাথে এটার মিল আছে।

৫.৩ গুরুত্বপূর্ণ ফর্মুলা

$$\text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X]E[Y]$$

যেখানে: variance-এর শর্টকাট ফর্মুলার (সেকশন ৩.৩) সাথে একদম সমান্তরাল — দ্বিতীয় রূপে শুধু $E[XY]$, $E[X]$, আর $E[Y]$ লাগে, যেগুলো joint আর marginal distribution থেকে সরাসরি হিসাব করা যায়, প্রথমে কিছু সেন্টার করার দরকার নেই।

হিসাব করা উদাহরণ। দুইটা random variable-এর joint PMF: $P(0,0)=0.4$, $P(0,1)=0.1$, $P(1,0)=0.1$, $P(1,1)=0.4$।

Marginal: $E[X] = (0)(0.5) + (1)(0.5) = 0.5$, একইভাবে $E[Y] = 0.5$। $E[XY] = (1)(1)(0.4) = 0.4$ (শুধু $(1,1)$ সেলটাই অবদান রাখে, কারণ $X$ বা $Y$-এর কোনো একটা 0 হলে $XY=0$)।

$$\text{Cov}(X,Y) = 0.4 - (0.5)(0.5) = 0.15$$

একটা positive covariance — X আর Y একসাথে 0 হওয়া বা একসাথে 1 হওয়ার প্রবণতা বেশি, একে অপরের সাথে না মেলার চেয়ে।

৫.৪ Covariance-এর Properties

৬. Correlation

৬.১ Correlation কী?

Covariance-এর আসল সাইজ $X$ আর $Y$ যে ইউনিটে মাপা হয় তার উপর নির্ভর করে — উচ্চতাকে সেন্টিমিটার থেকে মিটারে পাল্টালে covariance-এর সংখ্যাগত মান বদলে যায়, যদিও underlying সম্পর্ক একটুও বদলায়নি। Correlation covariance-কে $-1$ থেকে $1$-এর মধ্যে একটা ইউনিটবিহীন সংখ্যায় রিস্কেল করে এই সমস্যাটা ঠিক করে।

$$\rho_{X,Y} = \frac{\text{Cov}(X,Y)}{\text{SD}(X)\,\text{SD}(Y)}$$

যেখানে: দুইটা স্ট্যান্ডার্ড ডেভিয়েশন দিয়ে ভাগ করলে ইউনিটগুলো সম্পূর্ণ ক্যানসেল হয়ে যায়, রেখে যায় $X$ আর $Y$-এর মধ্যে linear সম্পর্কের শক্তি আর দিকের একটা বিশুদ্ধ মাপ। এই নির্দিষ্ট ফর্মুলাটাকে বলা হয় Pearson correlation, Karl Pearson-এর নামে, আর এটাই "correlation" শব্দের ডিফল্ট মানে, যতক্ষণ না অন্যভাবে বলা হয়।

৬.২ Covariance বনাম Correlation

৬.৩ Correlation ইন্টারপ্রেট করা

"Strongly dependent" প্রিসেট চেষ্টা করো আর তার correlation মান "Mild positive relationship" প্রিসেটের সাথে তুলনা করো — দুটোই positive, কিন্তু একটা 1-এর অনেক কাছাকাছি, যা দুইটা ভ্যারিয়েবল একসাথে কতটা টাইট হয়ে বদলাচ্ছে তার সাথে মেলে।

৭. Variance-Covariance Matrix ⭐⭐⭐

Covariance Matrix কী?

দুইটার বেশি random variable থাকলে — যেমন একটা random vector $\mathbf{X} = (X_1, X_2, \ldots, X_p)$, একটা ডেটাসেটের ফিচারদের একটা row-এর মতো — তোমার একসাথে প্রতিটা পেয়ারওয়াইজ variance আর covariance লাগবে, একবারে একটা পেয়ার না। Covariance matrix $\Sigma$ এগুলো সব একটা $p \times p$ গ্রিডে সংগঠিত করে।

$$\Sigma = \begin{bmatrix} \text{Var}(X_1) & \text{Cov}(X_1,X_2) & \cdots & \text{Cov}(X_1,X_p) \\ \text{Cov}(X_2,X_1) & \text{Var}(X_2) & \cdots & \text{Cov}(X_2,X_p) \\ \vdots & \vdots & \ddots & \vdots \\ \text{Cov}(X_p,X_1) & \text{Cov}(X_p,X_2) & \cdots & \text{Var}(X_p) \end{bmatrix}$$

যেখানে: $\Sigma$-এর $(i,j)$ এন্ট্রি হলো $\text{Cov}(X_i, X_j)$ — আর যেহেতু $\text{Cov}(X_i,X_i) = \text{Var}(X_i)$ (সেকশন ৫.৪), ডায়াগোনাল এন্ট্রিগুলো প্রতিটা ভ্যারিয়েবলের নিজের variance-ই।

Structure of a Variance-Covariance MatrixIllustration coming soon

গঠন, সিমেট্রি, আর Positive Semi-Definiteness

ML অ্যাপ্লিকেশন

৮. একাধিক ভ্যারিয়েবলের Expectation, Variance আর Covariance

সেকশন ২ আর ৩ একটা $X$ কভার করেছে; এই সেকশনে expectation আর variance-এর নিয়মগুলো কয়েকটা random variable-এর যোগফলের জন্য সম্প্রসারিত করা হবে, যেখানে covariance আবার একটা correction টার্ম হিসেবে ফিরে আসে।

$$E[X+Y] = E[X] + E[Y], \qquad E[aX+bY] = a\,E[X] + b\,E[Y]$$

Expectation dependence থাকুক বা না থাকুক linear থাকে (সেকশন ২.৪) — এখানে নতুন কিছু নেই। Variance-ই সেই জায়গা যেখানে dependence সরাসরি ম্যাটার করা শুরু করে:

$$\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) + 2\,\text{Cov}(X,Y)$$

যেখানে: Expectation-এর মতো না, variance একটা অতিরিক্ত correction টার্ম পায় — $X$ আর $Y$-এর মধ্যেকার covariance-এর দ্বিগুণ — যা শুধু তখনই হারিয়ে যায় যখন $X$ আর $Y$ uncorrelated ($\text{Cov}(X,Y)=0$), যা independent ভ্যারিয়েবলরা সবসময়ই।

$$\text{Var}(X-Y) = \text{Var}(X) + \text{Var}(Y) - 2\,\text{Cov}(X,Y)$$

লক্ষ্য করো বিয়োগের জন্য চিহ্নটা উল্টে যায়, কিন্তু covariance টার্মটা এখনো ম্যাগনিচিউডে যোগ হয় — একটা positively-correlated $Y$ বিয়োগ করলে combined variance কমে যায় (তারা একসাথে বদলাতে চায়, তাই তাদের পার্থক্যগুলো আংশিকভাবে ক্যানসেল হয়), যেখানে negatively-correlated $Y$ বিয়োগ করলে variance বাড়ে।

সাধারণ linear combination $Z = aX + bY$-এর জন্য:

$$\text{Var}(aX+bY) = a^2\,\text{Var}(X) + b^2\,\text{Var}(Y) + 2ab\,\text{Cov}(X,Y)$$

এটাই সেই সাধারণ প্যাটার্ন যা covariance matrix (সেকশন ৭) একসাথে অনেক ভ্যারিয়েবলের জন্য প্যাকেজ করে: $\text{Var}(\mathbf{a}^T\mathbf{X}) = \mathbf{a}^T\Sigma\mathbf{a}$।

৯. Conditional Expectation

Conditional Expectation কী?

Conditional expectation, $E[X \mid Y=y]$ লেখা হয়, হলো $X$-এর expected value যখন তুমি আগে থেকেই জানো $Y$ একটা নির্দিষ্ট মান $y$ নিয়েছে — $Y=y$ দেওয়া থাকলে $X$-এর conditional distribution (আগের চ্যাপ্টারের সেকশন ১৩) ব্যবহার করে হিসাব করা expectation, $X$-এর unconditional distribution না।

$$E[X \mid Y=y] = \sum_x x \cdot p_{X\mid Y}(x \mid y)$$

ব্যাখ্যা। $X$-কে তার পুরো distribution জুড়ে গড় না করে, তুমি শুধু সেই "স্লাইস"-এর ফলাফলগুলোর উপর গড় করছো যেখানে $Y$ ঠিক $y$-এর সমান হয় — কন্ডিশনাল প্রোবাবিলিটির পেছনের একই সংকোচনের আইডিয়া, এখন একটা একক ইভেন্টের প্রোবাবিলিটির বদলে একটা গড়ের উপর প্রয়োগ করা হচ্ছে।

Conditional mean একটা $Y$-এর ফাংশন হিসেবে। যখন তুমি $Y$-কে একটা নির্দিষ্ট মানে ফিক্স না করে $E[X\mid Y]$-কে এমন একটা নিয়ম হিসেবে ধরো যা $Y$-এর যেকোনো মান ইনপুট নিতে পারে, তখন এটা নিজেই একটা random variable হয়ে যায় — এমন একটা যা $Y$ শেষ পর্যন্ত কী হয় তার উপর নির্ভর করে। এই অবজেক্টটাই, $E[X\mid Y]$, ঠিক যার উপর পরবর্তী দুইটা সেকশন গড়ে ওঠে।

ML-এ conditional expectation। একটা রিগ্রেশন মডেলের ইনপুট ফিচার $\mathbf{x}$ দেওয়া থাকলে তার প্রেডিকশন $\hat{y}$, আদর্শ ক্ষেত্রে, $E[Y \mid X=\mathbf{x}]$-এর একটা অনুমান — মডেলটা টার্গেটের conditional mean শিখতে চেষ্টা করছে, ইনপুট দেওয়া থাকলে। এই কারণেই mean squared error মিনিমাইজ করলে এমন প্রেডিকশন পাওয়া যায় যা একটা conditional expectation-এর কাছাকাছি চলে যায়।

১০. Law of Total Expectation

কনসেপ্ট আর ফর্মুলা

কখনো কখনো তুমি প্রতিটা সম্ভাব্য $y$-এর জন্য $E[X\mid Y=y]$ জানো, কিন্তু আসলে চাও প্লেইন, unconditional $E[X]$। Law of Total Expectation দুটোকে সংযুক্ত করে:

$$E[X] = \sum_y E[X \mid Y=y]\, p_Y(y) = E\big[E[X \mid Y]\big]$$

যেখানে: $X$-এর সামগ্রিক expectation হলো conditional expectation $E[X\mid Y=y]$-গুলোর একটা weighted average, প্রতিটা $y$ কতটা সম্ভাব্য তা দিয়ে ওজন দেওয়া — একটা গড়ের গড়, কিন্তু প্রতিবার ভিন্ন একটা ভ্যারিয়েবল জুড়ে।

Partition-ভিত্তিক ব্যাখ্যা। $Y$-এর সম্ভাব্য মানগুলোকে sample space-কে ছোট ছোট নন-ওভারল্যাপিং গ্রুপে (একটা partition) ভাগ করার মতো ভাবো। $X$-এর সামগ্রিক গড় বের করতে, প্রতিটা গ্রুপের ভেতরে $X$-এর গড় বের করো, তারপর সেই গ্রুপ-গড়গুলো একত্র করো, প্রতিটা গ্রুপ কতটা বড় (সম্ভাব্য) সেই অনুযায়ী ওজন দিয়ে — ঠিক যেভাবে একটা স্কুলের সামগ্রিক গড় পরীক্ষার নম্বর বের করা হয় প্রতিটা ক্লাসের গড় নম্বর থেকে, ক্লাসের সাইজ দিয়ে ওজন দিয়ে।

সহজ উদাহরণ। একটা ফ্যাক্টরিতে দুইটা মেশিন আছে। মেশিন A ৬০% ইউনিট বানায়, প্রতি ১০০ ইউনিটে গড়ে ২টা ডিফেক্ট নিয়ে। মেশিন B ৪০% ইউনিট বানায়, প্রতি ১০০ ইউনিটে গড়ে ৫টা ডিফেক্ট নিয়ে। সামগ্রিক গড় ডিফেক্ট রেট:

$$E[X] = (0.6)(2) + (0.4)(5) = 1.2 + 2.0 = 3.2 \text{ প্রতি ১০০ ইউনিটে ডিফেক্ট}$$

কন্ডিশনাল প্রোবাবিলিটির সাথে সম্পর্ক। এটা ঠিক কন্ডিশনাল প্রোবাবিলিটি চ্যাপ্টার-এর Law of Total Probability-এর সাথে একই "কেসে ভাগ করে, তারপর একত্র করো" যুক্তি — শুধু এখন একটা expected value-এর উপর প্রয়োগ করা হচ্ছে, একটা একক ইভেন্টের প্রোবাবিলিটির বদলে।

১১. Law of Total Variance

কনসেপ্ট: Within-Group আর Between-Group Variance

Variance-এরও একই আইডিয়ার নিজস্ব একটা সংস্করণ আছে, কিন্তু একটার বদলে দুইটা অংশ লাগে, কারণ সামগ্রিক spread দুইটা ভিন্ন উৎস থেকে আসে: প্রতিটা গ্রুপের ভেতরে $X$ কতটা ভ্যারি করে (একবার তুমি জেনে গেলে কোন গ্রুপ / $Y$-এর কোন মান), আর গ্রুপ গড়গুলো নিজেরাই একটা গ্রুপ থেকে আরেকটায় কতটা ভ্যারি করে।

$$\text{Var}(X) = \underbrace{E\big[\text{Var}(X \mid Y)\big]}_{\text{within-group variance}} + \underbrace{\text{Var}\big(E[X \mid Y]\big)}_{\text{between-group variance}}$$

যেখানে: প্রথম টার্মটা প্রতিটা গ্রুপের নিজের ভেতরের spread-এর গড় নেয়; দ্বিতীয় টার্মটা মাপে গ্রুপ গড়গুলো নিজেরা কতটা দোলে, $Y$ পাল্টানোর সাথে সাথে।

ব্যাখ্যা। প্রতিটা আলাদা গ্রুপের নিজের ভেতরের variance কম হলেও (একটা গ্রুপের ভেতরে সবাই একে অপরের মতো), সামগ্রিক variance এখনো অনেক বড় হতে পারে যদি গ্রুপগুলোর গড় একে অপরের থেকে অনেক আলাদা হয় — আর Law of Total Variance ঠিক সেই ফর্মুলা যেটা মোট spread-কে পরিষ্কারভাবে "গ্রুপের ভেতরের spread" আর "গ্রুপ-গড়ের মধ্যেকার spread"-এ ভাগ করে, কিছুই দুইবার গোনা হয় না বা বাদ পড়ে না।

১২. সাধারণ Distribution-এর Expectation আর Variance

একটা দ্রুত sanity-check প্যাটার্ন মনে রাখার মতো: একটা Binomial(n, p), যা $n$টা independent Bernoulli(p) ট্রায়াল একসাথে যোগ করা মাত্র, তার mean আর variance দুটোই $n$ দিয়ে স্কেল হয় — $E[X] = n \cdot p$ আর $\text{Var}(X) = n \cdot p(1-p)$ — যোগফলের উপর expectation আর (independent) variance দুটোই additive হওয়ার (সেকশন ২.৪ আর ৮) সরাসরি ফলাফল।

১৩. মেশিন লার্নিং-এ Expectation আর Variance ⭐⭐⭐

Expected Prediction আর Expected Loss

একটা মডেলের loss ফাংশন, ডেটা-জেনারেটিং distribution জুড়ে গড় করলে, আক্ষরিক অর্থেই একটা expectation। একটা রিগ্রেশন মডেলকে mean squared error মিনিমাইজ করে ট্রেইন করা হলো, formally, এটার একটা অনুমান মিনিমাইজ করা:

$$E\big[(Y - \hat{Y})^2\big]$$

— যা ঠিক variance-এর সংজ্ঞা (সেকশন ৩.৩), শুধু একটা raw random variable-এর বদলে প্রেডিকশন এরর $(Y - \hat Y)$-এর উপর প্রয়োগ করা। এই কারণেই MSE আর variance-এর একই গাণিতিক DNA আছে: দুটোই "expected squared deviation," শুধু ভিন্ন রাশির।

Prediction-এর Variance আর মডেল Variability

একটা মডেল (bias-variance অর্থে, সেকশন ১৫) high variance রাখে, যদি এর প্রেডিকশনগুলো কোন নির্দিষ্ট ট্রেনিং সেট দেখেছে তার উপর নির্ভর করে হঠাৎ করে দুলতে থাকে — একই মডেল আর্কিটেকচারকে একই জনসংখ্যা থেকে দুইটা ভিন্ন র‍্যান্ডম স্যাম্পলে ট্রেইন করলে, একটা high-variance মডেল প্রতিবার লক্ষণীয়ভাবে ভিন্ন প্রেডিকশন দেয়। এটা আক্ষরিক অর্থেই এই চ্যাপ্টারের variance, একটা random variable-এর ভিন্ন ভিন্ন মানের বদলে ট্রেনিং ডেটার ভিন্ন ভিন্ন র‍্যান্ডম ড্র জুড়ে মাপা।

Expected Risk

একটা মডেলের expected risk হলো তার loss ফাংশনের expectation, পুরো আসল ডেটা distribution জুড়ে (শুধু তোমার হাতে থাকা সীমিত ট্রেনিং স্যাম্পল না):

$$R(\hat{f}) = E_{(X,Y)}\big[L(Y, \hat{f}(X))\big]$$

যেহেতু তুমি কখনো পুরো আসল distribution সরাসরি পর্যবেক্ষণ করতে পারবে না, প্র্যাকটিসে তুমি empirical risk (তোমার আসল ট্রেনিং ডেটার উপর গড় loss) মিনিমাইজ করো একটা বিকল্প হিসেবে, আর আশা করো এটা আসল expected risk-এর একটা ভালো অনুমান — empirical আর expected risk-এর মধ্যেকার এই ফাঁকটাই generalization theory-তে বারবার ফিরে আসা একটা থিম।

১৪. মেশিন লার্নিং-এ Covariance ⭐⭐⭐

ফিচার-ফিচার সম্পর্ক আর Redundancy

একটা ডেটাসেটের প্রতিটা ফিচার পেয়ারের জন্য $\text{Cov}(X_i, X_j)$ (বা, আরো কাজের, correlation $\rho_{X_i,X_j}$) হিসাব করা exploratory data analysis-এর একটা স্ট্যান্ডার্ড প্রথম ধাপ। দুইটা ফিচারের মধ্যে খুব বেশি $|\rho|$ redundancy-এর সংকেত দেয় — দুইটা কলাম বেশিরভাগ ওভারল্যাপিং তথ্য বহন করছে, আর একটা মডেলের হয়তো দুটোই দরকার না।

Multicollinearity

যখন কয়েকটা ফিচার একে অপরের সাথে খুব বেশি correlated, একটা মডেল (বিশেষ করে linear regression) সমস্যায় পড়তে পারে: প্রতিটা correlated ফিচারের আলাদা অবদান নির্দিষ্ট করা কঠিন হয়ে যায়, coefficient অনুমানগুলো অস্থির হয়ে পড়ে, আর ডেটার ছোট পরিবর্তনেও সেগুলো হঠাৎ অনেক বদলে যেতে পারে। এই সমস্যাটাকে বলা হয় multicollinearity, আর এটা সরাসরি ফিচার covariance/correlation matrix (সেকশন ৭) থেকে ডায়াগনোজ করা হয়।

PCA আর Covariance

Principal Component Analysis (PCA) একটা ডেটাসেটের covariance matrix $\Sigma$-এর (সেকশন ৭) উপর সরাসরি কাজ করে: এটা $\Sigma$-এর eigenvector খুঁজে বের করে, যা ডেটা সবচেয়ে বেশি ভ্যারি করার দিক নির্দেশ করে, আর eigenvalue, যা বলে দেয় ঠিক কতটা variance সেই প্রতিটা দিক জুড়ে আছে। ডেটাকে শীর্ষ কয়েকটা eigenvector-এ প্রজেক্ট করলে অরিজিনাল variance-এর বেশিরভাগ ধরে রাখা যায়, সবচেয়ে কম অবদান রাখা dimension-গুলো বাদ দিয়ে — পুরো এই টেকনিকটা, মূলত, covariance-এর একটা অ্যাপ্লিকেশন।

Gaussian মডেল

একটা মাল্টিভ্যারিয়েট Normal (Gaussian) distribution সম্পূর্ণভাবে দুইটা জিনিস দিয়ে নির্দিষ্ট করা হয়: একটা mean vector আর একটা covariance matrix। প্রতিটা Gaussian-ভিত্তিক মডেল — Gaussian Naive Bayes থেকে Gaussian Mixture Model থেকে Gaussian Process পর্যন্ত — সরাসরি covariance matrix-এর উপর নির্ভর করে তার ভ্যারিয়েবলগুলো একে অপরের সাথে কীভাবে সম্পর্কিত তা বর্ণনা করতে।

১৫. Bias-Variance সংযোগ

Bias, Variance, আর Irreducible Error

একটা মডেলের মোট expected prediction error তিনটা আলাদা অংশে ভাগ করা যায়:

$$E\big[(Y - \hat f(X))^2\big] = \big(\text{Bias}[\hat f(X)]\big)^2 + \text{Var}\big[\hat f(X)\big] + \sigma^2_{\text{irreducible}}$$

যেখানে: Bias হলো মডেলের গড় প্রেডিকশন (অনেক সম্ভাব্য ট্রেনিং সেট জুড়ে) আসল মান থেকে কতটা দূরে বসে; Variance হলো মডেলের প্রেডিকশন সেই ভিন্ন ভিন্ন ট্রেনিং সেট জুড়ে কতটা দোলে (সেকশন ১৩); আর $\sigma^2_{\text{irreducible}}$ হলো ডেটার নিজের ভেতরে থাকা নয়েজ যা কোনো মডেলই কখনো সরাতে পারবে না।

The Bias-Variance Tradeoff CurveIllustration coming soon

Underfitting, Overfitting, আর Model Complexity

১৬. প্র্যাকটিক্যাল উদাহরণ

PMF থেকে expected value হিসাব করা। একটা ডাইস এমনভাবে লোড করা যে $P(6)=0.5$ আর $1$–$5$ প্রতিটার probability $0.1$। $E[X] = (1+2+3+4+5)(0.1) + (6)(0.5) = 1.5 + 3.0 = 4.5$ — fair ডাইসের 3.5 থেকে টেনে উপরে তোলা হয়েছে, 6-এর ভারী ওজনের কারণে।

PDF থেকে expected value হিসাব করা। $f(x) = 3x^2$, $[0,1]$-এর জন্য: $E[X] = \int_0^1 x \cdot 3x^2\, dx = \int_0^1 3x^3\,dx = \left[\tfrac{3x^4}{4}\right]_0^1 = 0.75$।

Variance আর standard deviation হিসাব করা। উপরের লোড করা ডাইসের জন্য, $E[X^2] = (1+4+9+16+25)(0.1) + (36)(0.5) = 5.5 + 18 = 23.5$। $\text{Var}(X) = 23.5 - (4.5)^2 = 23.5 - 20.25 = 3.25$, তাই $\text{SD}(X) = \sqrt{3.25} \approx 1.803$।

Covariance আর correlation হিসাব করা। ধরো $\text{Var}(X)=4$, $\text{Var}(Y)=9$, আর $\text{Cov}(X,Y)=3$। তাহলে $\rho_{X,Y} = \dfrac{3}{\sqrt{4}\sqrt{9}} = \dfrac{3}{6} = 0.5$ — একটা মাঝারি positive linear সম্পর্ক।

Covariance matrix তৈরি আর ইন্টারপ্রেট করা। তিনটা ফিচারের জন্য $\text{Var}(X_1)=4$, $\text{Var}(X_2)=9$, $\text{Var}(X_3)=1$, $\text{Cov}(X_1,X_2)=3$, $\text{Cov}(X_1,X_3)=0$, $\text{Cov}(X_2,X_3)=-1$:

$$\Sigma = \begin{bmatrix} 4 & 3 & 0 \\ 3 & 9 & -1 \\ 0 & -1 & 1 \end{bmatrix}$$

$X_1$ আর $X_2$ একসাথে বদলায় (positive covariance); $X_1$ আর $X_3$ কোনো linear সম্পর্ক দেখায় না (zero); $X_2$ আর $X_3$ একটু বিপরীত দিকে বদলায় (negative)।

Bias আর variance বিশ্লেষণ করা। স্পষ্টভাবে বাঁকা ডেটায় ফিট করা degree 1-এর polynomial regression (একটা সরলরেখা) উচ্চ ট্রেনিং error আর উচ্চ টেস্ট error দেখাবে, প্রায় সমান — high bias। একই ডেটায় degree-15 polynomial দিয়ে ফিট করলে প্রায়-শূন্য ট্রেনিং error কিন্তু উচ্চ টেস্ট error দেখাবে — high variance। কোনোটাই সঠিক কমপ্লেক্সিটি না; সেকশন ১৫-এর sweet spot দুটোর মাঝামাঝি কোথাও।

১৭. প্র্যাকটিস প্রবলেম

বেসিক

১. Expectation। একটা স্পিনার 1, 2, বা 3-তে থামে probability 0.2, 0.3, 0.5 দিয়ে। $E[X]$ বের করো।
সমাধান: $E[X] = (1)(0.2)+(2)(0.3)+(3)(0.5) = 0.2+0.6+1.5 = 2.3$।

২. Variance। প্রবলেম ১ ব্যবহার করে $\text{Var}(X)$ বের করো।
সমাধান: $E[X^2] = (1)(0.2)+(4)(0.3)+(9)(0.5) = 0.2+1.2+4.5 = 5.9$। $\text{Var}(X) = 5.9 - (2.3)^2 = 5.9 - 5.29 = 0.61$।

৩. Standard Deviation। প্রবলেম ২ ব্যবহার করে $\text{SD}(X)$ বের করো।
সমাধান: $\text{SD}(X) = \sqrt{0.61} \approx 0.781$।

মধ্যম

৪. Covariance। Joint PMF: $P(1,1)=0.2, P(1,2)=0.1, P(2,1)=0.3, P(2,2)=0.4$। $\text{Cov}(X,Y)$ বের করো।
সমাধান: $E[X]=(1)(0.3)+(2)(0.7)=1.7$। $E[Y]=(1)(0.5)+(2)(0.5)=1.5$। $E[XY]=(1)(1)(0.2)+(1)(2)(0.1)+(2)(1)(0.3)+(2)(2)(0.4)=0.2+0.2+0.6+1.6=2.6$। $\text{Cov}(X,Y)=2.6-(1.7)(1.5)=2.6-2.55=0.05$।

৫. Correlation। প্রবলেম ৪ ব্যবহার করে, $\text{Var}(X)=0.21$ আর $\text{Var}(Y)=0.25$ দিয়ে, $\rho_{X,Y}$ বের করো।
সমাধান: $\rho = \dfrac{0.05}{\sqrt{0.21}\sqrt{0.25}} = \dfrac{0.05}{(0.458)(0.5)} \approx \dfrac{0.05}{0.229} \approx 0.218$ — একটা দুর্বল positive linear সম্পর্ক।

৬. একাধিক Random Variable। যদি $\text{Var}(X)=5$, $\text{Var}(Y)=3$, $\text{Cov}(X,Y)=1$, $\text{Var}(X+Y)$ আর $\text{Var}(X-Y)$ বের করো।
সমাধান: $\text{Var}(X+Y) = 5+3+2(1)=10$। $\text{Var}(X-Y)=5+3-2(1)=6$।

৭. Covariance Matrix। $\text{Var}(X_1)=2$, $\text{Var}(X_2)=3$, $\text{Cov}(X_1,X_2)=-1$ দেওয়া থাকলে, $2\times2$ covariance matrix লেখো।
সমাধান: $\Sigma = \begin{bmatrix} 2 & -1 \\ -1 & 3 \end{bmatrix}$।

ML-ভিত্তিক

৮. Feature Covariance। দুইটা ফিচারের $\text{Cov}(X_1,X_2) = 45$, $\text{Var}(X_1)=25$, $\text{Var}(X_2)=100$। এরা কি শক্তভাবে correlated?
সমাধান: $\rho = \dfrac{45}{\sqrt{25}\sqrt{100}} = \dfrac{45}{(5)(10)} = 0.9$ — হ্যাঁ, শক্তভাবে correlated, আর redundancy-এর একটা প্রার্থী।

৯. Expected Loss। একটা মডেল $\hat Y = 10$ প্রেডিক্ট করে; আসল $Y$ probability 0.6-এ 8, আর probability 0.4-এ 14। Expected squared error বের করো।
সমাধান: $E[(Y-\hat Y)^2] = (8-10)^2(0.6) + (14-10)^2(0.4) = (4)(0.6)+(16)(0.4) = 2.4+6.4 = 8.8$।

১০. Model Variance। একটা মডেল ৩টা ভিন্ন র‍্যান্ডম স্যাম্পলে ট্রেইন করে একই ইনপুটের জন্য 5.1, 4.9, আর 5.0 প্রেডিক্ট করে। প্রেডিকশন variance অনুমান করো (এগুলোকে সমান সম্ভাব্য ফলাফল ধরে নাও)।
সমাধান: গড় $= 5.0$। $\text{Var} = \dfrac{(0.1)^2+(-0.1)^2+(0)^2}{3} = \dfrac{0.01+0.01+0}{3} \approx 0.0067$ — কম variance, স্যাম্পলগুলো জুড়ে একটা স্থিতিশীল মডেল।

চ্যাপ্টার সারাংশ

সুপারিশকৃত শেখার ক্রম