Joint & Marginal Distributions

১. Multivariate Probability-এর পরিচয়

এতদিন যত চ্যাপ্টার পড়েছো, সবগুলোতেই একটা সময়ে একটা random variable নিয়ে কাজ হয়েছে — একটা PMF, একটা PDF, একটা mean, একটা variance। কিন্তু বাস্তব জগতে একটামাত্র মাপ থেকে খুব একটা কাজের জিনিস বের হয় না। একজন রোগীর blood pressure আছে, cholesterol আছে, বয়স আছে। একটা বাড়ির স্কয়ার ফুটেজ আছে, লোকেশন আছে, বেডরুমের সংখ্যা আছে। একটা মডেলের ইনপুট কখনোই একটা সংখ্যা না — পুরো একটা রো, অনেকগুলো ফিচার নিয়ে। Multivariate probability হলো এই সাবজেক্টের সেই শাখা, যেখানে একাধিক random variable একসাথে, একই স্যাম্পল স্পেসে, একই সময়ে স্টাডি করা হয়।

Multivariate Probability কী?

Multivariate probability একটা ধারালো প্রশ্ন করে — শুধু "$X=x$ হওয়ার সম্ভাবনা কত?" না, বরং "$X=x$ এবং $Y=y$ এবং $Z=z$ — এই সবগুলো একসাথে হওয়ার সম্ভাবনা কত, যেখানে এই ভ্যারিয়েবলগুলো একে অপরকে প্রভাবিত করতে পারে?" যেই মুহূর্তে তোমার কাছে একই র‍্যান্ডম এক্সপেরিমেন্ট থেকে আসা দুই বা তার বেশি random variable থাকে, তুমি multivariate টেরিটরিতে ঢুকে গেছো।

একাধিক Random Variable

random variables চ্যাপ্টার থেকে মনে করো — একটা random variable হলো একটা ফাংশন, যা র‍্যান্ডম এক্সপেরিমেন্টের আউটকামকে সংখ্যায় ম্যাপ করে। একই এক্সপেরিমেন্টের ওপর তুমি চাইলে একাধিক এমন ফাংশন ডিফাইন করতে পারো। দুইটা ডাইস রোল করো: $X$ = প্রথম ডাইসের মান, $Y$ = দ্বিতীয় ডাইসের মান। একজন কাস্টমারের সার্ভে নাও: $X$ = তার বয়স, $Y$ = মাসিক খরচ, $Z$ = সে churn করেছে কিনা। প্রতিটা ভ্যারিয়েবলেরই আলাদা আলাদা PMF বা PDF আছে — কিন্তু একবার এগুলোকে একে অপরের সাথে ইন্টারঅ্যাক্ট করতে দিলে, সেটাই পুরো ছবি না।

একাধিক Random Variable কেন গুরুত্বপূর্ণ

এখানেই আসল নতুন জিনিসটা — শুধু "একই কনসেপ্ট দুইবার" না। Random variableগুলো একে অপরের সাথে সম্পর্কিত হতে পারে। $X$ জানা থাকলে তোমার $Y$ সম্পর্কে ধারণা বদলে যেতে পারে। লম্বা মানুষ ভারীও হওয়ার সম্ভাবনা বেশি। যে কাস্টমার প্ল্যাটফর্মে বেশিদিন ধরে আছে, তার এই মাসে churn করার সম্ভাবনা কম। $X$ আর $Y$-কে আলাদা আলাদা স্টাডি করলে ঠিক এই তথ্যটাই হারিয়ে যায় — তাদের মধ্যেকার সম্পর্কটা, যেটা প্রায়ই পুরো ডেটাসেটের সবচেয়ে দরকারি জিনিস।

Univariate বনাম Multivariate Probability

মেশিন লার্নিং-এ উদাহরণ

এটা "আসল ML কনটেন্ট"-এ যাওয়ার আগের একটা অ্যাকাডেমিক ডিটোর না — এটাই আসল ML কনটেন্ট। একটা ডেটাসেটের রোগুলো তার কলামগুলোর (ফিচার, আর প্রায়ই টার্গেটও) ওপর একটা joint distribution থেকে নেওয়া স্যাম্পল। ফিচার কোরিলেশন, Naive Bayes-এর পেছনের অ্যাসাম্পশন, generative আর discriminative মডেলের পার্থক্য, Gaussian Mixture Models-এর পেছনের multivariate Gaussian — এসবকিছুই সরাসরি এই চ্যাপ্টারের আইডিয়ার ওপর দাঁড়িয়ে। চ্যাপ্টার শেষে তুমি একটা ফিচার ম্যাট্রিক্সকে আর স্প্রেডশিট হিসেবে দেখবে না, বরং কোনো একটা আন্ডারলাইং joint distribution থেকে আসা স্যাম্পল হিসেবে দেখবে — ঠিক যেভাবে সেই ডেটা ব্যবহার করা মডেলগুলোও ডেটাটা "দেখে"।

২. Joint Distribution

২.১ Joint Distribution-এর পরিচয়

Joint Distribution কী? দুইটা (বা তার বেশি) random variable-এর joint distribution হলো একটা সিঙ্গেল অবজেক্ট, যেটা তাদের সম্ভাব্য প্রতিটা কম্বিনেশন-এর সম্ভাবনা একসাথে বলে দেয় — আলাদা আলাদা আচরণ না, বরং তাদের একসাথে আচরণ।

Joint Probability. $P(X=x, Y=y)$ — পড়ো "X সমান x এবং Y সমান y হওয়ার সম্ভাবনা" — এটাই joint probability। কমা মানে "এবং": এই আউটকাম গণনা হতে হলে দুইটা ঘটনাই একসাথে ঘটতে হবে।

দুইটা Random Variable X আর Y. সবচেয়ে সহজ আর সবচেয়ে কমন কেস হলো ঠিক দুইটা random variable। এই চ্যাপ্টারের সেকশন ২–১১ পুরোটাই প্রথমে একটা জোড়া $X, Y$-এর ওপর বানানো হবে, তারপর সেকশন ১২-এ তিন বা তার বেশি ভ্যারিয়েবলে জেনারেলাইজ করা হবে — দুই-ভ্যারিয়েবল কেসটাই প্রায় সবটা ইনটুইশন বহন করে, বাড়তি ভ্যারিয়েবলগুলো মূলত বাড়তি হিসাব যোগ করে, নতুন আইডিয়া না।

একাধিক Variable-এর Joint Distribution. ডেফিনিশনে দুইয়ে থেমে যাওয়ার কোনো বাধ্যবাধকতা নেই। তুমি চাইলে $X, Y, Z$-এর joint distribution নিয়েও কথা বলতে পারো, বা পুরো একটা ফিচার ভেক্টর $(X_1, X_2, \ldots, X_p)$ নিয়েও — একই মূল আইডিয়া (প্রতিটা কম্বিনেশনে একটা probability বা density) সরাসরি স্কেল আপ হয়ে যায়।

Joint PMF বনাম Joint PDF. সিঙ্গেল-ভ্যারিয়েবল distribution যেমন discrete (PMF) আর continuous (PDF) কেসে ভাগ হয়, joint distribution-ও তেমনি ভাগ হয় — আর কোনটা প্রযোজ্য হবে সেটা নির্ভর করে ভ্যারিয়েবলগুলো নিজেই discrete না continuous, ঠিক যেভাবে random variables চ্যাপ্টারে দেখেছিলে।

২.২ Joint PMF

Discrete Random Variable-এর Joint PMF. যখন $X$ আর $Y$ দুইটাই discrete, তাদের joint probability mass function:

$$p(x,y) = P(X=x,\ Y=y)$$

যেখানে: প্রতিটা সম্ভাব্য জোড়া $(x,y)$-এর জন্য, $p(x,y)$ হলো $X$-এর মান $x$ হওয়ার সম্ভাবনা এবং, ঠিক সেই একই আউটকামে, $Y$-এর মান $y$ হওয়ার সম্ভাবনা — প্রতিটা কম্বিনেশনের জন্য একটা সংখ্যা, প্রতিটা ভ্যারিয়েবলের জন্য না।

Joint Probability Table. Discrete ভ্যারিয়েবলের ক্ষেত্রে joint PMF সাজানোর সবচেয়ে স্বাভাবিক উপায় একটা টেবিল — রো-তে $X$-এর মান, কলামে $Y$-এর মান, আর প্রতিটা সেলে $p(x,y)$।

হিসাব করা উদাহরণ। একটা fair চার-পাশের ডাইস দুইবার রোল করো; $X$ = প্রথম রোলের ফলাফল (ছোট টেবিলের জন্য $\{1,2\}$-তে সীমাবদ্ধ) আর $Y$ = দ্বিতীয় রোল জোড় ($1$) না বিজোড় ($0$), ধরো joint PMF এরকম:

Joint PMF-এর বৈশিষ্ট্য।

Joint PMF থেকে Probability হিসাব করা। $X$ আর $Y$ দিয়ে বানানো যেকোনো ইভেন্টের probability বের করতে, সেই ইভেন্ট সন্তুষ্ট করে এমন প্রতিটা জোড়ার $p(x,y)$ যোগ করো। ওপরের টেবিল থেকে, $P(X=1) = p(1,0)+p(1,1) = 0.25+0.25 = 0.5$, আর $P(X=2, Y=1) = p(2,1) = 0.25$ সরাসরি টেবিল থেকে।

২.৩ Joint PDF

Continuous Random Variable-এর Joint PDF. যখন $X$ আর $Y$ দুইটাই continuous, তখন এক্স্যাক্ট probability-র কোনো টেবিল নেই (যেকোনো একটা নির্দিষ্ট জোড়া $(x,y)$-এর probability ঠিক 0, একই কারণে যেভাবে একটামাত্র continuous $X$-এর একটা পয়েন্টের probability 0 হয়)। এর বদলে একটা joint probability density function $f(x,y)$ থাকে।

$$f(x,y) \ge 0, \qquad P\big((X,Y) \in A\big) = \iint_A f(x,y)\, dx\, dy$$

যেখানে: $f(x,y)$ নিজে কোনো probability না — এটা একটা density। $(X,Y)$ প্লেনের কোনো একটা রিজিয়ন $A$-তে পড়ার probability হলো সারফেস $f(x,y)$-এর নিচে, রিজিয়ন $A$-এর ওপরে আটকে থাকা volume।

Probability হিসেবে Area/Volume. এটা সিঙ্গেল-ভ্যারিয়েবল PDF-এর "curve-এর নিচের area-ই probability" আইডিয়ার সরাসরি 2D ভার্সন। একটা ভ্যারিয়েবলের জন্য, probability ছিল একটা লাইনের ওপর কোনো ইন্টারভালে curve-এর নিচের area। দুইটা ভ্যারিয়েবলের জন্য, probability হলো একটা প্লেনের রিজিয়নের ওপর surface-এর নিচের volume।

Joint PDF-এর বৈশিষ্ট্য।

Region-এর ওপর Probability হিসাব করা। হিসাব করা উদাহরণ: ধরো $f(x,y) = x+y$, $0 \le x \le 1,\ 0 \le y \le 1$-এর জন্য (বাকি সব জায়গায় 0)। ভ্যালিড কিনা চেক করো: $\int_0^1\int_0^1 (x+y)\,dx\,dy = \int_0^1 \left[\tfrac{x^2}{2}+xy\right]_0^1 dy = \int_0^1 \left(\tfrac12 + y\right)dy = \tfrac12+\tfrac12 = 1$। $P(X \le 0.5, Y \le 0.5)$ বের করতে, শুধু সেই ছোট বর্গের ওপর ইন্টিগ্রেট করো: $\int_0^{0.5}\int_0^{0.5}(x+y)\,dx\,dy = 0.125$ — প্লেন রিজিয়নের চার ভাগের এক ভাগ, কিন্তু probability-র চার ভাগের এক ভাগের চেয়ে লক্ষণীয়ভাবে কম, কারণ $f(x,y)$ অরিজিনের কাছে $(1,1)$-এর কাছের চেয়ে ছোট।

টেবিলের একটা সেল বদলিয়ে দেখো — রো আর কলাম দুইটার marginal totalই কীভাবে বদলে যায়। এই মেকানিজমটাই সেকশন ৩-এ পরে ফর্মাল করা হবে।

৩. Marginal Distribution

৩.১ Marginal Distribution কী?

সংজ্ঞা। একটা marginal distribution হলো শুধু একটা ভ্যারিয়েবলের নিজস্ব distribution, যেটা joint distribution থেকে বের করা হয় অন্য ভ্যারিয়েবল(গুলো)-র সম্ভাব্য প্রতিটা মান হিসাবে নিয়ে। মানে $Y$ কী করেছে সেটা নিয়ে আর মাথা না ঘামিয়ে, শুধু $X$-কে আবার একা একা জিজ্ঞেস করা।

Joint বনাম Marginal Distribution. Joint distribution "$X=x$ এবং $Y=y$" ধরনের প্রশ্নের উত্তর দেয়। Marginal distribution সাধারণ "$X=x$" প্রশ্নের উত্তর দেয় — একই আন্ডারলাইং ডেটা, শুধু আলাদা প্রশ্ন করা হচ্ছে।

Marginalization কেন দরকার। বাস্তবে প্রায়ই তোমার হাতে একটা joint distribution থাকে (একটা joint PMF টেবিল, বা একটা ফিট করা joint PDF) কিন্তু তুমি আসলে শুধু একটা ভ্যারিয়েবলের নিজস্ব আচরণ জানতে চাও — তার নিজের mean, তার নিজের শেপ, তার নিজের রিস্ক। Marginalization হলো ঠিক সেই নিয়ম, যেটা "সবকিছু, একসাথে" থেকে "শুধু এই একটা ভ্যারিয়েবল, একা" — কোনো তথ্য না হারিয়ে, ডাবল-কাউন্ট না করে ফিরে যায়।

৩.২ Marginal PMF

X-এর Marginal PMF. Joint PMF-কে $Y$-এর প্রতিটা মানের ওপর যোগ করো:

$$p_X(x) = \sum_y p(x,y), \qquad p_Y(y) = \sum_x p(x,y)$$

যেখানে: $X$-এর নিজস্ব probability $x$ মান নেওয়ার জন্য, সেই রো-এর প্রতিটা joint সেল যোগ করো ($X=x$ থাকা অবস্থায় $Y$ যেভাবেই হোক না কেন) — যেহেতু $Y$-এর মান অনুযায়ী এই আউটকামগুলো পরস্পর exclusive, এগুলো যোগ করা ঠিক আছে। একই লজিক, রো-এর বদলে কলামের ওপর যোগ করলে, $Y$-এর marginal দেয়।

Random Variable-কে Sum করে বাদ দেওয়া। "Marginal" নামটা এসেছে এই রো/কলাম টোটালগুলো একটা joint probability টেবিলের আক্ষরিক মার্জিনে (কিনারায়) লেখার অভ্যাস থেকে — নামটা আসলে সংখ্যাগুলো পেজে কোথায় বসে সেটারই বর্ণনা।

উদাহরণ। সেকশন ২.২-এর joint টেবিল ব্যবহার করে:

৩.৩ Marginal PDF

X-এর Marginal PDF. Joint PDF-কে $Y$-এর প্রতিটা মানের ওপর ইন্টিগ্রেট করো — sum-এর ঠিক continuous ভার্সন:

$$f_X(x) = \int_{-\infty}^{\infty} f(x,y)\, dy, \qquad f_Y(y) = \int_{-\infty}^{\infty} f(x,y)\, dx$$

যেখানে: একটা নির্দিষ্ট $x$-এর জন্য, $f(x,y)$-কে সম্ভাব্য প্রতিটা $y$-এর ওপর ইন্টিগ্রেট করলে সারফেসটা $x$-অক্ষের ওপর সংকুচিত হয়ে যায় — জ্যামিতিকভাবে, তুমি সারফেসটাকে সেই $x$-এ স্লাইস করে সেই একটা স্লাইসের নিচের area বের করছো।

Random Variable-কে ইন্টিগ্রেট করে বাদ দেওয়া। এটাই "$Y$-কে ইন্টিগ্রেট করে বাদ দেওয়া" মানে বাস্তবে: ফলাফল থেকে $y$-নির্ভরতা পুরোপুরি হারিয়ে যায়, শুধু $x$-এর ফাংশন থেকে যায়।

Y-এর Marginal PDF. সিমেট্রিক — $x$-এর বদলে $y$-এর ওপর ইন্টিগ্রেট করো।

উদাহরণ। $f(x,y)=x+y$, $[0,1]\times[0,1]$-এর ওপর: $f_X(x) = \int_0^1 (x+y)\,dy = \left[xy+\tfrac{y^2}{2}\right]_0^1 = x+\tfrac12$, $0\le x\le1$-এর জন্য। ভ্যালিড PDF কিনা চেক করো: $\int_0^1 (x+\tfrac12)\,dx = \tfrac12+\tfrac12=1$। সিমেট্রি অনুযায়ী, $f_Y(y)=y+\tfrac12$-ও।

গুরুত্বপূর্ণ কনসেপ্ট

৪. Conditional Distribution

৪.১ Conditional Distribution

Conditional Distribution কী? একটা conditional distribution বর্ণনা করে একটা ভ্যারিয়েবলের আচরণ, যখন তুমি আগে থেকেই জানো অন্য ভ্যারিয়েবলটা কী মান নিয়েছে — joint distribution-কে একটামাত্র "স্লাইস"-এ সংকুচিত করা, ঠিক conditional probability চ্যাপ্টারের সেই একই রেস্ট্রিকশন আইডিয়া, শুধু এবার একটা ইভেন্টের বদলে পুরো একটা distribution-এর ওপর প্রয়োগ করা।

Conditional PMF.

$$p_{X\mid Y}(x\mid y) = \frac{p(x,y)}{p_Y(y)}, \qquad p_Y(y) > 0 \text{ হলে}$$

যেখানে: শুধু সেই আউটকামগুলোতে মনোযোগ দাও যেখানে $Y=y$ (probability $p_Y(y)$), তারপর, শুধু সেই স্লাইসের ভেতরে, জিজ্ঞেস করো joint probability $p(x,y)$ কীভাবে $x$-এর সম্ভাব্য মানগুলোর ওপর ছড়িয়ে আছে — $p_Y(y)$ দিয়ে ভাগ করলে সেই স্লাইসটা এমনভাবে রিস্কেল হয় যেন সেটা নিজেই একটা ভ্যালিড probability distribution হয়, $x$-এর ওপর যোগফল 1।

Conditional PDF. Density-র জন্য ঠিক একই আইডিয়া:

$$f_{X\mid Y}(x\mid y) = \frac{f(x,y)}{f_Y(y)}, \qquad f_Y(y) > 0 \text{ হলে}$$

P(X|Y). $p_{X\mid Y}(x\mid y)$-কে প্রায়ই শুধু $P(X=x \mid Y=y)$ লেখা হয় — পড়ো "X=x-এর probability, দেওয়া থাকলে Y=y।"

P(Y|X). সিমেট্রিক — রোল বদলাও: $p_{Y\mid X}(y\mid x) = \dfrac{p(x,y)}{p_X(x)}$।

হিসাব করা উদাহরণ। সেকশন ২.২-এর টেবিল ব্যবহার করে: $P(X=1 \mid Y=0) = \dfrac{p(1,0)}{p_Y(0)} = \dfrac{0.25}{0.5} = 0.5$। লক্ষ্য করো এটা unconditional $P(X=1) = 0.5$-এর সমানও — independence-এর একটা ইঙ্গিত, যা সেকশন ৫-এ ফর্মাল করা হবে।

৪.২ Joint, Marginal আর Conditional Distribution-এর মধ্যে সম্পর্ক

গুরুত্বপূর্ণ সম্পর্ক

$$P(X,Y) = P(X\mid Y)\,P(Y) = P(Y\mid X)\,P(X)$$

যেখানে: এটা কেবল conditional-probability-র সংজ্ঞাটাই পুনর্বিন্যাস করা — একটা conditional distribution-কে সেটা যেটার শর্তে ছিল সেই marginal দিয়ে গুণ করলে ভাগটা বাতিল হয়ে যায় আর অরিজিনাল joint distribution ফেরত আসে। দুইটা ফর্মই সবসময় একসাথে সত্য — এগুলো একই joint probability, শুধু দুইভাবে ফ্যাক্টর করা।

এই একটা আইডেন্টিটিই পুরো চ্যাপ্টারের কব্জা: এটাই কারণ $P(X,Y)$, $P(X\mid Y)$, আর $P(Y)$ কখনো তিনটা স্বাধীন তথ্য না — এদের যেকোনো দুইটা জানলেই তৃতীয়টা ঠিক হয়ে যায়।

৫. Random Variable-দের Independence ⭐⭐⭐

Independence কী?

দুইটা random variable independent হয় যদি একটার মান জানা অন্যটা সম্পর্কে কোনো তথ্য না দেয় — $Y=y$ দেওয়া থাকলে $X$-এর conditional distribution ঠিক $X$-এর সাধারণ marginal distribution-এর মতোই, $y$ যাই হোক না কেন।

Independent Random Variables. $X$ আর $Y$ independent, ঠিক তখনই যখন:

$$P(X=x,\ Y=y) = P(X=x)\,P(Y=y) \quad \text{প্রতিটা জোড়া } (x,y) \text{-এর জন্য}$$

যেখানে: joint probability ঠিক ঠিক দুই marginal-এর গুণফলে ফ্যাক্টর হয়ে যায়। এটা প্রতিটা জোড়া $(x,y)$-এর জন্য সত্য হতে হবে, শুধু কিছুটার জন্য না — একটা মাত্র জোড়া ফেল করলেই ভ্যারিয়েবলগুলো dependent প্রমাণিত হয়ে যায়।

Independent Variable-দের Joint Distribution. $X$ আর $Y$ independent হলে, পুরো joint PMF টেবিল (বা joint PDF সারফেস) শুধু দুই marginal থেকেই রিকনস্ট্রাক্ট করা যায় — প্রতিটা joint সেল তার রো-টোটাল আর কলাম-টোটালের গুণফল। এটাই একমাত্র কেস যেখানে সেকশন ৩-এর "শুধু marginals দিয়ে joint রিবিল্ড করা যায় না" ওয়ার্নিংটা প্রযোজ্য না।

Joint বনাম Marginal Distribution — independence-এর সংযোগ। Independence ঠিক সেই শর্ত, যার অধীনে joint distribution দুই marginal মিলিয়ে যা তথ্য দেয়, তার বেশি কিছু বহন করে না। Dependence ঠিক সেই শর্ত, যার অধীনে এটা বেশি তথ্য বহন করে — সম্পর্কটা নিজেই বাড়তি তথ্য, প্রতিটা ভ্যারিয়েবল একা একা কী করে সেটার ওপরে।

গুরুত্বপূর্ণ সম্পর্ক

$$P(X,Y) = P(X)\,P(Y)$$

Independence টেস্ট করা

একটা joint PMF টেবিল থেকে দুইটা discrete random variable independent কিনা চেক করতে: প্রতিটা marginal হিসাব করো, তারপর প্রতিটা সেলের জন্য $p(x,y) = p_X(x)\,p_Y(y)$ ঠিক আছে কিনা চেক করো। টেবিলের যেকোনো একটা জায়গায় একটা মিসম্যাচ পেলেই dependence প্রমাণিত।

হিসাব করা উদাহরণ — dependent কেস। $P(0,0)=0.5,\ P(0,1)=0.1,\ P(1,0)=0.1,\ P(1,1)=0.3$। Marginals: $p_X(0)=0.6,\ p_X(1)=0.4,\ p_Y(0)=0.6,\ p_Y(1)=0.4$। $(0,0)$ সেল চেক করো: $p_X(0)p_Y(0) = 0.36 \ne 0.5 = p(0,0)$। মিলছে না, তাই $X$ আর $Y$ dependent — একবার একটা সেল ফেল করলে আর কোনো সেল চেক করার দরকার নেই।

Dependent বনাম Independent Variable

উদাহরণ

দুইটা আলাদা fair ডাইস রোল করলে: ডাইস 1 আর ডাইস 2-এর ফলাফল independent — একটার ফিজিক্যাল ফলাফল অন্যটার probability একটুও বদলায় না। এর বিপরীতে ভাবো একটা ডেক থেকে রিপ্লেসমেন্ট ছাড়া দুইটা কার্ড টানা: দ্বিতীয় কার্ডের distribution আসলেই প্রথম কার্ডের ওপর নির্ভর করে (সেই মানের একটা কম কার্ড ডেকে থেকে যায়), তাই এই দুই টান dependent।

Conditional Independence

দুইটা ভ্যারিয়েবল সামগ্রিকভাবে dependent হয়েও, একটা তৃতীয় ভ্যারিয়েবলের ওপর condition করলে independent হয়ে যেতে পারে — একে বলে conditional independence, লেখা হয় $X \perp Y \mid Z$, আর এর মানে $P(X,Y\mid Z) = P(X\mid Z)\,P(Y\mid Z)$। ক্লাসিক উদাহরণ: বাচ্চাদের জুতার সাইজ আর পড়ার দক্ষতা সব বয়সের বাচ্চাদের জনসংখ্যায় কোরিলেটেড — কিন্তু বয়সের ওপর condition করলে, এই কোরিলেশনটা উবে যায় (বড় বাচ্চাদের পা-ও বড়, পড়ার দক্ষতাও বেশি — বয়সটাই দুইটার পেছনের আসল কারণ)। বয়স একটা confounder, আর এর ওপর condition করলে ভুয়া dependence মুছে যায়। এই আইডিয়াটাই Naive Bayes-কে "naive" বানায়: এটা ধরে নেয় যে ক্লাস লেবেল দেওয়া থাকলে ফিচারগুলো conditionally independent — যেটা প্রায় কখনোই ঠিক ঠিক সত্য না, কিন্তু প্রায়ই যথেষ্ট ভালো অ্যাপ্রোক্সিমেশন যা অত্যন্ত কাজের হয়।

৬. Joint Random Variable-দের Expectation

Joint Expectation

Expectation স্বাভাবিকভাবেই দুইটা random variable-এর একসাথে ফাংশনের জন্যও এক্সটেন্ড হয় — $g(X,Y)$ — শুধু $X$ আর $Y$ আলাদা আলাদা না।

$$E[g(X,Y)] = \sum_x \sum_y g(x,y)\, p(x,y) \qquad \text{(discrete)}$$$$E[g(X,Y)] = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} g(x,y)\, f(x,y)\, dx\, dy \qquad \text{(continuous)}$$

যেখানে: expectation চ্যাপ্টারের সিঙ্গেল-ভ্যারিয়েবল expectation-এর একই weighted-average প্যাটার্ন, শুধু সিঙ্গেল-ভ্যারিয়েবল probability/density-র বদলে joint probability/density দিয়ে ওজন দেওয়া, আর প্রতিটা জোড়ার ওপর যোগ/ইন্টিগ্রেট করা।

E[X], E[Y]. এগুলো শুধু বিশেষ কেস $g(x,y)=x$ (বা $=y$): $E[X] = \sum_x\sum_y x\,p(x,y) = \sum_x x\,p_X(x)$ — যেটা সাধারণ সিঙ্গেল-ভ্যারিয়েবল expectation ফর্মুলায় ফিরে যায়, $X$-এর marginal থেকে হিসাব করা, কারণ $y$-এর ওপর প্রথমে $p(x,y)$ যোগ করলেই $p_X(x)$ পুনরুৎপাদন হয়।

E[g(X,Y)]. সবচেয়ে কমন নন-ট্রিভিয়াল কেস হলো $g(x,y)=xy$, যা দেয় $E[XY]$ — ঠিক সেই রাশি যেটা থেকে সেকশন ৭-এর covariance ফর্মুলা বানানো।

Expectation-এর Linearity

Linearity (expectation চ্যাপ্টারের সেকশন ২.৪) এখানেও অপরিবর্তিত থাকে, dependence যাই হোক না কেন যেকোনো random variable-এর জন্য: $E[aX+bY+c] = aE[X]+bE[Y]+c$।

Joint PMF দিয়ে Expectation

হিসাব করা উদাহরণ। সেকশন ২.২-এর টেবিল ব্যবহার করে: $E[XY] = (1)(0)(0.25)+(1)(1)(0.25)+(2)(0)(0.25)+(2)(1)(0.25) = 0+0.25+0+0.5 = 0.75$।

Joint PDF দিয়ে Expectation

হিসাব করা উদাহরণ। $f(x,y)=x+y$, $[0,1]\times[0,1]$-এর ওপর: $E[XY] = \int_0^1\int_0^1 xy(x+y)\,dx\,dy = \int_0^1\int_0^1 (x^2y+xy^2)\,dx\,dy = \int_0^1 \left(\tfrac{y}{3}+\tfrac{y^2}{2}\right)dy = \tfrac16+\tfrac16 = \tfrac13$।

৭. Joint Distribution-এ Covariance আর Correlation

Expectation, Variance & Covariance চ্যাপ্টারে covariance আর correlation পুরোপুরি বানানো হয়েছে (তার সেকশন ৫–৬) — এই সেকশনটা শুধু একটা ছোট, ফোকাসড রিক্যাপ, এগুলো একটা joint distribution-এর ভেতরে ঠিক কীভাবে বসে, কারণ এগুলো সবসময় সেই অবজেক্ট থেকেই হিসাব করা হয়।

দুইটা Random Variable-এর Covariance

$$\text{Cov}(X,Y) = E[XY] - E[X]E[Y]$$

যেখানে: $E[XY]$, $E[X]$, আর $E[Y]$ সবগুলোই সেকশন ৬-এর ফর্মুলা থেকে joint distribution দিয়ে হিসাব করা — covariance একটা joint distribution থেকে বের করা সংখ্যা, নতুন কোনো তথ্য দরকার হয় এমন আলাদা অবজেক্ট না।

Covariance-এর ব্যাখ্যা। পজিটিভ মানে $X$ আর $Y$ একসাথে তাদের mean-এর ওপরে থাকার প্রবণতা দেখায়; নেগেটিভ মানে একটা mean-এর ওপরে থাকলে অন্যটা নিচে থাকার প্রবণতা; শূন্য মানে কোনো দিকেই ডিটেক্টেবল লিনিয়ার প্রবণতা নেই (সেকশন ৫-এর independence সংযোগ: independent সবসময় zero covariance ইমপ্লাই করে, কিন্তু উল্টোটা না)।

Correlation Coefficient. $\rho_{X,Y} = \dfrac{\text{Cov}(X,Y)}{\text{SD}(X)\,\text{SD}(Y)}$ — covariance-এর ইউনিটবিহীন, $[-1,1]$-সীমাবদ্ধ রিস্কেলিং।

Joint Distribution আর Covariance-এর সম্পর্ক। Covariance-এর প্রতিটা উপাদান — $E[XY]$, $E[X]$, $E[Y]$ — সরাসরি joint PMF বা joint PDF থেকে হিসাব করা। Joint distribution বদলালে (এমনকি দুই marginal ঠিক রেখেও, যেটা সম্ভব যখনই $X,Y$ independent না), covariance-ও বদলাতে পারে, কারণ covariance নির্ভর করে দুই ভ্যারিয়েবল কীভাবে একসাথে জোড়া লাগানো তার ওপর, শুধু তাদের আলাদা আলাদা marginal আচরণের ওপর না।

মেশিন লার্নিং সংযোগ

৮. Conditional Expectation

Conditional Expectation কী?

Conditional expectation হলো $X$-এর expected value, তার conditional distribution (সেকশন ৪.১) ব্যবহার করে হিসাব করা, সাধারণ marginal-এর বদলে — $X$-এর গড়, শুধু সেই আউটকামের স্লাইসে সীমাবদ্ধ যেখানে $Y$ জানা আছে $y$-এর সমান।

$$E[X\mid Y=y] = \sum_x x\cdot p_{X\mid Y}(x\mid y)$$

যেখানে: গঠনগতভাবে সাধারণ expectation-এর মতোই, কিন্তু প্রতিটা ওজন marginal-এর বদলে conditional PMF/PDF থেকে আসে — $X$-এর "গড়," এবার শুধু সেই জগতে হিসাব করা যেখানে $Y=y$ আগে থেকেই সত্য বলে জানা।

E[X|Y]. যখন $Y$ একটা নির্দিষ্ট মানে ফিক্সড না থেকে ভ্যারিয়েবল হিসেবে থেকে যায়, তখন $E[X\mid Y]$ নিজেই একটা random রাশি হয়ে যায় — $Y$ যা-ই হোক না কেন, তার একটা ফাংশন। এই অবজেক্টটাই সেকশন ৯–১১-এর নিয়মগুলোর ভিত্তি।

Conditional Mean. $E[X\mid Y=y]$-এর আরেক নাম — "$X$-এর mean, সেই জগতে যেখানে $Y=y$।"

Conditional Variance. স্বাভাবিক variance-সংস্করণ: $\text{Var}(X\mid Y=y) = E[X^2\mid Y=y] - \big(E[X\mid Y=y]\big)^2$ — $X$-এর spread, এটাও $Y=y$ স্লাইসে সীমাবদ্ধ।

ব্যাখ্যা। Conditional expectation উত্তর দেয়: "$Y$ সম্পর্কে এখন যা জানি, সেই অনুযায়ী $X$-এর জন্য আমার সবচেয়ে ভালো একটামাত্র অনুমান কী?" এটা সাধারণ, unconditional $E[X]$-এর চেয়ে বেশি ইনফরমেটিভ, যখনই $X$ আর $Y$ dependent, কারণ এটা $Y=y$-র সেই বাড়তি তথ্য ব্যবহার করে যা $X$ সম্পর্কে বহন করে।

মেশিন লার্নিং অ্যাপ্লিকেশন

৯. Law of Total Probability

Sample Space-এর Partition

ধরো $Y$-এর সম্ভাব্য মানগুলো sample space-কে ওভারল্যাপ-না-করা কয়েকটা গ্রুপে ভাগ করে দেয় — একটা partition। প্রতিটা আউটকাম ঠিক একটা গ্রুপে পড়ে, সেটা কোন $Y$-এর মান দিয়েছে তার ওপর নির্ভর করে।

Marginalization দিয়ে Total Probability

$$P(X=x) = \sum_y P(X=x\mid Y=y)\,P(Y=y)$$

যেখানে: এটা সেকশন ৩-এর marginalization-ই, শুধু একটা raw joint টেবিলের বদলে conditional probability দিয়ে লেখা — প্রতিটা গ্রুপ $y$-এর জন্য, সেই গ্রুপের ভেতরে $X=x$-এর probability যোগ করো, সেই গ্রুপ কতটা সম্ভাব্য তার ওজন দিয়ে।

Discrete Case. ঠিক ওপরের sum ফর্ম — যখনই $Y$ সসীম (বা গণনাযোগ্য) সংখ্যক মান নেয় তখন ব্যবহৃত।

Continuous Case. $f_X(x) = \int f_{X\mid Y}(x\mid y)\,f_Y(y)\,dy$ — একই ওজনযুক্ত-কম্বিনেশন আইডিয়া, discrete গ্রুপের ওপর sum-এর বদলে একটা কন্টিনিউয়ামের ওপর integral।

Conditional Distribution-এর সাথে সংযোগ। এটা ঠিক সেকশন ৪.২-এর "Joint → Marginal" তীর, শুধু $y$-এর ওপর যোগ করার আগে $P(X,Y) = P(X\mid Y)P(Y)$ (সেকশন ৪-এর গুরুত্বপূর্ণ সম্পর্ক) বসিয়ে — Law of Total Probability নতুন কোনো ফ্যাক্ট না, এটা সেকশন ৩ আর ৪-কে একটা ফর্মুলায় মিলিয়ে দেওয়া।

১০. Law of Total Expectation

কনসেপ্ট

একই "গ্রুপে ভাগ করো, গ্রুপ-সাইজ দিয়ে ওজন দিয়ে কম্বাইন করো" লজিক, এবার একটা probability-র বদলে expected value-এর ওপর প্রয়োগ করা।

$$E[X] = \sum_y E[X\mid Y=y]\,P(Y=y) = E\big[E[X\mid Y]\big]$$

যেখানে: সামগ্রিক, unconditional $E[X]$ হলো প্রতিটা গ্রুপের conditional mean $E[X\mid Y=y]$-এর একটা ওজনযুক্ত গড়, প্রতিটা গ্রুপ $y$ কতটা সম্ভাব্য তার ওজন দিয়ে।

Conditional Expectation. ঠিক সেকশন ৮-এর অবজেক্টটাই আবার ব্যবহার করা — এই নিয়মটাই conditional expectation-কে $X$-এর পুরো marginal distribution সরাসরি না লিখেও একটা সাধারণ, unconditional expectation হিসাব করার জন্য কাজের বানায়।

Expectation-এর Marginalization. সেকশন ৩ যেমন একটা distribution-কে marginalize করে, এই নিয়মটা একটা expectation-কে marginalize করে — একটা গড়ের গড়, কিন্তু $Y$-এর নিজস্ব distribution-এর ওপর।

উদাহরণ। একটা কারখানায় দুইটা মেশিন আছে: মেশিন A ইউনিটের 60% বানায়, প্রতি 100 ইউনিটে গড় 2টা ডিফেক্ট নিয়ে; মেশিন B 40% বানায়, প্রতি 100-এ গড় 5টা ডিফেক্ট নিয়ে। সামগ্রিক গড় ডিফেক্ট রেট: $E[X] = (0.6)(2)+(0.4)(5) = 1.2+2.0 = 3.2$ ডিফেক্ট প্রতি 100 ইউনিটে — ঠিক দুই conditional mean-এর একটা ওজনযুক্ত গড়।

১১. Law of Total Variance

কনসেপ্ট

একটা গ্রুপিং ভ্যারিয়েবল $Y$ চালু করলে variance দুইটা আলাদা উৎসে ভাগ হয়ে যায়: প্রতিটা গ্রুপের ভেতরের spread, আর গ্রুপগুলোর নিজস্ব mean-এর মধ্যে spread।

$$\text{Var}(X) = \underbrace{E\big[\text{Var}(X\mid Y)\big]}_{\text{গ্রুপের ভেতরের variance}} + \underbrace{\text{Var}\big(E[X\mid Y]\big)}_{\text{গ্রুপের মধ্যেকার variance}}$$

যেখানে: প্রথম টার্মটা প্রতিটা গ্রুপের নিজস্ব ভেতরের spread গড় করে (সেকশন ৮-এর conditional variance); দ্বিতীয় টার্মটা মাপে গ্রুপের mean নিজেরা কতটা গ্রুপ থেকে গ্রুপে বদলায়।

Conditional Variance. সেকশন ৮-এর $\text{Var}(X\mid Y=y)$-ই আবার ব্যবহার করা — "একটা গ্রুপের ভেতরে" অংশটা।

Within-Group Variance (গ্রুপের ভেতরের). $Y$ যদি প্রতিটা গ্রুপের $X$-এর mean মান একদম নিখুঁতভাবে অনুমান করতেও পারতো, তবুও একটা গ্রুপের ভেতরের আলাদা $X$ মানগুলো ছড়িয়ে থাকতে পারে — সেই ছড়ানোটাই within-group টার্ম।

Between-Group Variance (গ্রুপের মধ্যেকার). এমনকি যদি প্রতিটা গ্রুপের ভেতরের spread শূন্য হতো (একটা গ্রুপের সবাই একই রকম), গ্রুপগুলোর mean তবুও একে অপরের থেকে অনেক আলাদা হতে পারতো — সেটাই between-group টার্ম, আর এটা ঠিক $\text{Var}(E[X\mid Y])$, সেকশন ৮-এর সেই random রাশির variance।

অ্যাপ্লিকেশন। এই ভাঙনটাই ANOVA-ধরনের রিজনিং-এর ফর্মাল ভিত্তি ("মোট ভেরিয়েশনের কতটুকু গ্রুপ মেম্বারশিপে ব্যাখ্যা হয়, আর কতটুকু গ্রুপের ভেতরেই অব্যাখ্যাত থাকে?") আর এটা সরাসরি এনসেম্বল মেথডেও দেখা যায়, যেখানে একটা মডেলের মোট prediction variance ভাগ হয়ে যায় একটা bootstrap স্যাম্পলের ভেতরের variance আর আলাদা bootstrap স্যাম্পলগুলোর মধ্যেকার variance-এ।

১২. একাধিক Variable-এর Joint Distribution

তিন বা তার বেশি Random Variable

এখন পর্যন্ত যা বানানো হয়েছে তার কিছুই ঠিক দুইটা ভ্যারিয়েবলে সীমাবদ্ধ না। $X, Y, Z$-এর জন্য, joint PMF হলো $p(x,y,z) = P(X=x, Y=y, Z=z)$, আর joint PDF $f(x,y,z)$ একই non-negativity আর total-probability-সমান-1 নিয়ম মানে, শুধু আরেকটা ডাইমেনশনের ওপর যোগ/ইন্টিগ্রেট করে।

X, Y, Z-এর Joint Distribution

সেকশন ২–৮-এর প্রতিটা আইডিয়া সরাসরি এক্সটেন্ড হয়: joint expectation হয়ে যায় $E[g(X,Y,Z)]$; তিনটার independence-এর জন্য প্রতিটা ট্রিপলে $p(x,y,z) = p_X(x)\,p_Y(y)\,p_Z(z)$ লাগে (এটা যেকোনো দুইটার pairwise independent হওয়ার চেয়ে একটা শক্তিশালী শর্ত — pairwise independence স্বয়ংক্রিয়ভাবে পুরোপুরি joint independence ইমপ্লাই করে না, এটা একটা ক্লাসিক্যাল সূক্ষ্ম বিষয় যেটা মনে রাখা দরকার)।

একাধিক Variable Marginalize করা

তিন-ভ্যারিয়েবল joint distribution থেকে একটা marginal পেতে, তুমি যতগুলো ভ্যারিয়েবল চাও না, সেগুলো যোগ/ইন্টিগ্রেট করে বাদ দাও। শুধু $Z$ বাদ দিলে $X,Y$-এর joint পাওয়া যায়: $p(x,y) = \sum_z p(x,y,z)$। $Y$ আর $Z$ দুইটাই বাদ দিলে $X$-এর নিজস্ব সিঙ্গেল-ভ্যারিয়েবল marginal পাওয়া যায়: $p_X(x) = \sum_y\sum_z p(x,y,z)$।

একাধিক Variable নিয়ে Conditional Distribution

একই ভাগের নিয়মও এক্সটেন্ড হয়: $p(x\mid y,z) = \dfrac{p(x,y,z)}{p(y,z)}$ — $X$-এর distribution, সেই স্লাইসে সীমাবদ্ধ যেখানে $Y=y$ আর $Z=z$ দুইটাই আগে থেকে জানা।

High-Dimensional Random Variable

বাস্তবে, "কয়েকটা" ভ্যারিয়েবল আসল ফিচার ভেক্টর নিয়ে কাজ করলে "কয়েকশ" হয়ে যায় — কয়েক ডজন ফিচারের ওপর একটা joint PMF/PDF সরাসরি লিখে বের করা প্রায় কখনোই সম্ভব হয় না। এর বদলে মডেলগুলো স্ট্রাকচারাল অ্যাসাম্পশন নেয় (independence, conditional independence, multivariate Normal-এর মতো নির্দিষ্ট একটা প্যারামেট্রিক ফ্যামিলি — সেকশন ১৩) যা একটা অন্যথায় অসম্ভবরকম বড় joint distribution-কে কাজ করার মতো বানায়।

মেশিন লার্নিং সংযোগ

১৩. Multivariate Normal Distribution ⭐⭐⭐

Multivariate Normal Distribution কী?

Multivariate Normal (Gaussian) distribution হলো পরিচিত বেল-কার্ভ Normal distribution-এর সরাসরি এক্সটেনশন, একসাথে একাধিক ভ্যারিয়েবলে — একটা মাত্র সংখ্যার randomness একটা mean-এর চারপাশে জমা হওয়ার বদলে, সংখ্যার একটা পুরো ভেক্টর একটা mean ভেক্টরের চারপাশে জমা হয়, একটা নির্দিষ্ট, ভালোভাবে বোঝা যায় এমন শেপ কন্ট্রোল করে ভ্যারিয়েবলগুলো কীভাবে ছড়িয়ে থাকে আর সম্পর্কিত হয়।

Mean Vector

একটামাত্র mean $\mu$-এর বদলে, একটা multivariate Normal-এর একটা mean vector থাকে $\boldsymbol{\mu} = (\mu_1, \mu_2, \ldots, \mu_p)$ — প্রতিটা ভ্যারিয়েবলের জন্য একটা mean, প্রতিটা কম্পোনেন্টের জন্য ঠিক $E[X_i]$।

Covariance Matrix

একটামাত্র variance $\sigma^2$-এর বদলে, এর আছে expectation/variance/covariance চ্যাপ্টারের সেকশন ৭-এর covariance matrix $\Sigma$ — ডায়াগোনাল এন্ট্রিগুলো প্রতিটা ভ্যারিয়েবলের নিজস্ব variance, off-diagonal এন্ট্রিগুলো জোড়া-জোড়া covariance।

$$f(\mathbf{x}) = \frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}} \exp\left(-\frac12 (\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right)$$

যেখানে: $p$ হলো ভ্যারিয়েবলের সংখ্যা, $|\Sigma|$ হলো covariance matrix-এর determinant, আর $\Sigma^{-1}$ হলো তার inverse। এক্সপোনেন্টের মূল অংশ, $(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})$, একটা distance-এর মতো রাশি (Mahalanobis distance, স্কোয়ার্ড) যা মাপে $\mathbf{x}$ mean থেকে কত দূরে, এমন ইউনিটে যা স্বয়ংক্রিয়ভাবে প্রতিটা ভ্যারিয়েবলের নিজস্ব স্কেল আর ভ্যারিয়েবলগুলোর মধ্যেকার correlation হিসাবে নেয় — সিঙ্গেল-ভ্যারিয়েবল Normal-এর $\left(\frac{x-\mu}{\sigma}\right)^2$-এর multivariate জেনারেলাইজেশন।

Joint Gaussian Distribution

"Multivariate Normal" আর "joint Gaussian distribution" একই অবজেক্ট — "joint" শব্দটা প্রায়ই বিশেষভাবে জোর দিতে যোগ করা হয় যে এটা একাধিক ভ্যারিয়েবল একসাথে বর্ণনা করছে, শুধু একটা ভ্যারিয়েবল একা না।

Marginal Gaussian Distribution

একটা শক্তিশালী ক্লোজার প্রপার্টি: যদি $(X,Y)$ একসাথে multivariate Normal ফলো করে, তাহলে শুধু $X$-ও (তার marginal, সেকশন ৩ অনুযায়ী) Normal হয় — একটা সাধারণ, সিঙ্গেল-ভ্যারিয়েবল Normal, mean $\mu_X$ আর variance $\Sigma_{XX}$ নিয়ে, সরাসরি mean vector আর covariance matrix থেকে টেনে বের করা। একটা multivariate Normal-কে marginalize করলে সবসময় আরেকটা (কম-ডাইমেনশনাল) multivariate Normal-ই পাওয়া যায় — বেশিরভাগ joint distribution-এ এটা হয় না, আর multivariate Normal এত সুবিধাজনক হওয়ার এটা একটা বড় কারণ।

Conditional Gaussian Distribution

আরও শক্তিশালী একটা ক্লোজার প্রপার্টি: $Y=y$ দেওয়া থাকলে $X$-এর conditional distribution, যখন $(X,Y)$ একসাথে Normal, সেটা নিজেও Normal — একটা conditional mean যা $y$-এর সাথে লিনিয়ারলি শিফট করে, আর একটা conditional variance যা unconditional variance-এর চেয়ে ছোট যখনই $X$ আর $Y$ কোরিলেটেড (Y জানা সত্যিই X-কে সংকুচিত করে)। এই একটা ফ্যাক্টই Gaussian Process regression আর Kalman filter-এর গাণিতিক ভিত্তি।

Mean Vector আর Covariance Matrix-এর সম্পর্ক

মাত্র mean vector-ই তোমাকে বলে distribution কোথায় কেন্দ্রীভূত; শুধু covariance matrix-ই তোমাকে বলে এর শেপ — probability mass-এর ক্লাউডটা কতটা প্রসারিত, কাত হয়ে আছে, আর কোরিলেটেড। এই দুইটা অবজেক্ট একসাথে একটা multivariate Normal-কে পুরোপুরি নির্ধারণ করে — আর কিছু স্পেসিফাই করার দরকার নেই।

কন্টুর ভিজুয়ালাইজেশন

2D Gaussian Contour Plots — Independent vs CorrelatedIllustration coming soon

Correlated বনাম Independent Gaussian Variable

বিশেষভাবে multivariate Normal-এর জন্য (আর শুধু Normal-এর জন্য — এটা যেকোনো distribution-এর জন্য জেনারেলাইজ করে না), zero covariance আর independence আসলে সমতুল্য। এটা Gaussian ফ্যামিলির একটা বিশেষ প্রপার্টি: সেকশন ৭-এর সাধারণ ওয়ার্নিং ("zero covariance independence ইমপ্লাই করে না")-এর ঠিক একটা সুপরিচিত ব্যতিক্রম আছে, আর সেটা হলো multivariate Normal।

2D Gaussian উদাহরণ

ধরো $\boldsymbol{\mu} = (0,0)$ আর $\Sigma = \begin{bmatrix}1 & 0.8\\0.8 & 1\end{bmatrix}$। Correlation $\rho = \dfrac{0.8}{\sqrt{1}\sqrt{1}} = 0.8$ — শক্তভাবে পজিটিভলি কোরিলেটেড। কন্টুর ইলিপ্সগুলো $y=x$ লাইন বরাবর তীব্রভাবে কাত হবে, কারণ এই distribution-এ বড় $X$ মান শক্তভাবে বড় $Y$ মানের সাথে যুক্ত।

মেশিন লার্নিং অ্যাপ্লিকেশন

১৪. গ্রাফিক্যাল ব্যাখ্যা

একটা Surface হিসেবে Joint Distribution

একটা joint PDF $f(x,y)$ আক্ষরিক একটা 3D সারফেস হিসেবে আঁকা যায় — $(x,y)$ প্লেনের প্রতিটা পয়েন্টে উচ্চতা সেখানকার density-র সমান। চূড়া দেখায় কোথায় $(X,Y)$ জোড়া সবচেয়ে সম্ভাব্য; উপত্যকা দেখায় কোথায় এগুলো বিরল।

Joint PDF কন্টুর প্লট

সেই 3D সারফেসটাকে বিভিন্ন উচ্চতায় ভূমি-সমান্তরালভাবে কাটলে, তারপর সোজা নিচে তাকালে, একটা কন্টুর প্লট পাওয়া যায় — নেস্টেড কার্ভ, প্রতিটা সমান density-র পয়েন্ট যুক্ত করে, ঠিক টপোগ্রাফিক ম্যাপের এলিভেশন লাইনের মতো। এটা পুরো 3D সারফেসের চেয়ে সাধারণত পড়া সহজ, আর বাস্তবে joint density ভিজুয়ালাইজ করার স্ট্যান্ডার্ড উপায় (সেকশন ১৩-এর কন্টুর উদাহরণে যেভাবে ব্যবহৃত হয়েছে)।

Projection হিসেবে Marginal Distribution

সেকশন ৩-এর marginalization-এর একটা পরিষ্কার জ্যামিতিক ছবিও আছে: $f_X(x)$ হলো যদি তুমি পুরো 3D সারফেসটাকে $x$-অক্ষের ওপর সোজা প্রজেক্ট (সংকুচিত) করে "চ্যাপ্টা" করতে, প্রতিটা ফিক্সড $x$-এর জন্য প্রতিটা $y$-এর উচ্চতা যোগ করে, তাহলে যা দেখতে।

Conditional Distribution

জ্যামিতিকভাবে, $f_{X\mid Y}(x\mid y)$ হলো সারফেসের একটা একটামাত্র উলম্ব স্লাইস, একটা নির্দিষ্ট $y$-এ নেওয়া, তারপর রিস্কেল করা (($f_Y(y)$ দিয়ে ভাগ করে)) যেন সেই স্লাইসের নিজস্ব area ঠিক 1-এ ইন্টিগ্রেট করে।

Correlation আর Distribution-এর শেপ

একটা jointly Gaussian জোড়ার জন্য, correlation সরাসরি কন্টুরের কাত নিয়ন্ত্রণ করে (সেকশন ১৩): $\rho=0$ বৃত্তাকার কন্টুর দেয়; $|\rho| \to 1$ হলে, ইলিপ্সগুলো ডায়াগোনাল বরাবর আরও প্রসারিত আর কাত হতে থাকে, লিমিটে একটা সরলরেখায় সংকুচিত হয়।

Independent বনাম Correlated Distribution

১৫. মেশিন লার্নিং-এ Joint & Marginal Distribution ⭐⭐⭐

Random Variable হিসেবে ফিচার

একটা ডেটাসেটের প্রতিটা কলাম — প্রতিটা ফিচার, আর টার্গেটও — একটা random variable হিসেবে ধরা হয়। একটা মাত্র রো হলো কোনো আন্ডারলাইং, সাধারণত অজানা, joint distribution থেকে একটা joint draw $(X_1, X_2, \ldots, X_p, Y)$।

ফিচারদের Joint Distribution

$P(X_1, X_2, \ldots, X_p, Y)$, বা একটা সিঙ্গেল ফিচার-টার্গেট জোড়ার জন্য শুধু $P(X,Y)$, হলো ইনপুট আর টার্গেটের ওপর পুরো joint distribution — ডেটা-জেনারেটিং প্রসেসের সবচেয়ে সম্পূর্ণ বর্ণনা যা সম্ভব।

আলাদা ফিচারের Marginal Distribution

$P(X_i)$, বাকি সব বাদ দিয়ে একটা ফিচারের নিজস্ব distribution, ঠিক সেটাই যা একটা সিঙ্গেল-কলাম হিস্টোগ্রাম বা সামারি স্ট্যাটিস্টিক এস্টিমেট করে — কাজের, কিন্তু এটা অন্য ফিচার বা টার্গেটের সাথে সেই ফিচারের প্রতিটা সম্পর্ক হারিয়ে ফেলে।

ফিচার দেওয়া থাকলে Target-এর Conditional Distribution

$P(Y\mid X)$ — দেওয়া ফিচার অনুযায়ী টার্গেটের distribution — এটাই প্রায় প্রতিটা supervised learning মেথড যা, কোনো না কোনো রূপে, অ্যাপ্রোক্সিমেট করার চেষ্টা করে।

Generative বনাম Discriminative মডেলিং

গুরুত্বপূর্ণ ML সংযোগ

১৬. প্র্যাকটিক্যাল উদাহরণ

Discrete

Joint Probability Table. দুইটা ডাইস একবার করে রোল করা হলো; $X$=প্রথম ডাইস, $Y$=দ্বিতীয় ডাইস, দুইটাই $\{1,\ldots,6\}$-এর ওপর uniform, independent। $6\times6$ joint টেবিলের প্রতিটা সেল $\frac{1}{36}$।

Marginal Probability হিসাব. $p_X(3) = \sum_y p(3,y) = 6 \times \frac{1}{36} = \frac16$ — যেমন আশা করা যায়, ঠিক একটা fair ডাইসের নিজস্ব PMF-এর সাথে মিলে যায়।

Conditional Probability হিসাব. $P(X=3\mid Y=5) = \dfrac{p(3,5)}{p_Y(5)} = \dfrac{1/36}{1/6} = \dfrac16$ — unconditional $P(X=3)$-এর সাথে ঠিক একই, independence নিশ্চিত করে।

Independence টেস্টিং. $p(3,5) = \frac{1}{36}$ আর $p_X(3)\,p_Y(5) = \frac16\cdot\frac16 = \frac{1}{36}$ — মিলছে, প্রতিটা সেলের জন্য, তাই দুইটা ডাইস independent, ঠিক যেমন ফিজিক্যাল সেটআপ থেকে বোঝা যায়।

Continuous

Joint PDF. $f(x,y) = e^{-x-y}$, $x,y \ge 0$-এর জন্য — ভ্যালিডিটি চেক করো: $\int_0^\infty\int_0^\infty e^{-x-y}\,dx\,dy = \left(\int_0^\infty e^{-x}dx\right)\left(\int_0^\infty e^{-y}dy\right) = (1)(1)=1$।

Marginal PDF. $f_X(x) = \int_0^\infty e^{-x-y}\,dy = e^{-x}\int_0^\infty e^{-y}\,dy = e^{-x}$ — একটা Exponential(1) distribution।

Region-এর ওপর Probability. $P(X\le1,Y\le1) = \int_0^1\int_0^1 e^{-x-y}\,dx\,dy = (1-e^{-1})^2 \approx 0.3996$।

Conditional PDF. $f_{X\mid Y}(x\mid y) = \dfrac{e^{-x-y}}{e^{-y}} = e^{-x}$ — $f_X(x)$-এর সাথে একদম মিলে যায় আর $y$-এর ওপর একদমই নির্ভর করে না, এখানেও $X$ আর $Y$ independent নিশ্চিত করে (এই নির্দিষ্ট joint density $e^{-x}\cdot e^{-y}$-এ পরিষ্কার ফ্যাক্টর হয়)।

ML

দুইটা ফিচার → Joint Distribution. "স্কয়ার ফুটেজ" আর "বেডরুমের সংখ্যা" ফিচার নিয়ে বাড়ির দামের ডেটার একটা joint distribution আছে — বড় বাড়িতে সাধারণত বেশি বেডরুম থাকে, তাই এই ফিচারগুলো dependent, independent না।

ফিচার → Marginal Distribution. শুধু "স্কয়ার ফুটেজ"-এর হিস্টোগ্রাম, বেডরুম পুরোপুরি বাদ দিয়ে, সেই একটা ফিচারের marginal distribution-এর একটা এস্টিমেট।

ফিচার দেওয়া থাকলে Target → Conditional Distribution. "স্কয়ার ফুটেজ আর বেডরুম দেওয়া থাকলে দাম" হলো $P(\text{Price}\mid X)$ — ঠিক এই ডেটাসেটের একটা regression মডেল যা এস্টিমেট করার চেষ্টা করছে।

ফিচার Correlation → Covariance. একটা শক্তিশালী পজিটিভ $\text{Cov}(\text{sqft}, \text{bedrooms})$ এই দুইটা ফিচারকে ওভারল্যাপিং তথ্য বহন করা হিসেবে ফ্ল্যাগ করবে — মডেলিং-এর আগে রিডানডেন্সি কমানোর জন্য বিবেচনার জোড়া।

১৭. প্র্যাকটিস প্রবলেম

বেসিক

১. Joint PMF বানাও। দুইটা fair কয়েন টস করা হলো; $X$ = কয়েন 1-এ হেডসের সংখ্যা (0 বা 1), $Y$ = কয়েন 2-এ হেডসের সংখ্যা (0 বা 1)। Joint PMF টেবিল বানাও।
সমাধান: চারটা আউটকাম (0,0),(0,1),(1,0),(1,1) সমান সম্ভাব্য: প্রতিটার জন্য $p(x,y) = 0.25$।

২. Joint Probability হিসাব করো। প্রবলেম ১-এর টেবিল ব্যবহার করে, $P(X=1, Y=1)$ বের করো।
সমাধান: $p(1,1) = 0.25$, সরাসরি টেবিল থেকে।

৩. Marginal PMF হিসাব করো। প্রবলেম ১-এর টেবিল ব্যবহার করে, $p_X(1)$ বের করো।
সমাধান: $p_X(1) = p(1,0)+p(1,1) = 0.25+0.25 = 0.5$।

৪. Marginal PDF হিসাব করো। দেওয়া আছে $f(x,y) = 4xy$, $0\le x\le1,\ 0\le y\le1$-এর জন্য, $f_X(x)$ বের করো।
সমাধান: $f_X(x) = \int_0^1 4xy\,dy = 4x\left[\tfrac{y^2}{2}\right]_0^1 = 2x$, $0\le x\le 1$-এর জন্য।

ইন্টারমিডিয়েট

৫. Conditional Distribution বের করো। প্রবলেম ১-এর টেবিল ব্যবহার করে, $P(Y=1\mid X=0)$ বের করো।
সমাধান: $P(Y=1\mid X=0) = \dfrac{p(0,1)}{p_X(0)} = \dfrac{0.25}{0.5} = 0.5$।

৬. Independence টেস্ট করো। Joint PMF: $P(0,0)=0.2, P(0,1)=0.3, P(1,0)=0.3, P(1,1)=0.2$। X আর Y কি independent?
সমাধান: $p_X(0)=0.5, p_X(1)=0.5, p_Y(0)=0.5, p_Y(1)=0.5$। $(0,0)$ চেক করো: $p_X(0)p_Y(0)=0.25 \ne 0.2$। Dependent।

৭. Joint Expectation হিসাব করো। প্রবলেম ১-এর টেবিল ব্যবহার করে, $E[XY]$ বের করো।
সমাধান: শুধু $(1,1)$ অবদান রাখে: $E[XY] = (1)(1)(0.25) = 0.25$।

৮. Covariance হিসাব করো। প্রবলেম ৬-এর টেবিল ব্যবহার করে, $\text{Cov}(X,Y)$ বের করো।
সমাধান: $E[XY] = (1)(1)(0.2) = 0.2$। $E[X]=0.5, E[Y]=0.5$। $\text{Cov}(X,Y) = 0.2-0.25 = -0.05$।

অ্যাডভান্সড

৯. Multivariate Normal প্রবলেম। দেওয়া আছে $\boldsymbol\mu = (2,3)$ আর $\Sigma = \begin{bmatrix}4&2\\2&9\end{bmatrix}$, correlation $\rho_{X,Y}$ বের করো।
সমাধান: $\rho = \dfrac{\text{Cov}(X,Y)}{\text{SD}(X)\text{SD}(Y)} = \dfrac{2}{\sqrt4\sqrt9} = \dfrac{2}{6} \approx 0.333$।

১০. Conditional Gaussian প্রবলেম। প্রবলেম ৯-এর একই $\boldsymbol\mu, \Sigma$-এর জন্য, $\text{Var}(X\mid Y=y)$ কি $\text{Var}(X)=4$-এর চেয়ে বড় নাকি ছোট?
সমাধান: ছোট — কারণ $X$ আর $Y$ কোরিলেটেড ($\rho \approx 0.333 \ne 0$), $Y$ জানা $X$-এর অনিশ্চয়তা কমায়, সেকশন ১৩-এর conditional Gaussian প্রপার্টি অনুযায়ী।

১১. Marginalization প্রবলেম। দেওয়া আছে joint PDF $f(x,y) = 6x^2y$, $0\le x\le1, 0\le y\le1$-এর জন্য, ভ্যালিড কিনা যাচাই করো আর $f_Y(y)$ বের করো।
সমাধান: $\int_0^1\int_0^1 6x^2y\,dx\,dy = \int_0^1 2y\,dy = 1$, ভ্যালিড। $f_Y(y) = \int_0^1 6x^2y\,dx = 2y$, $0\le y\le1$-এর জন্য।

১২. ML-Based Joint Distribution প্রবলেম। একটা ডেটাসেটের ফিচার $X_1$ (আয়) আর $X_2$ (খরচ)-এর $\text{Cov}(X_1,X_2) = 850$, $\text{Var}(X_1)=1000$, $\text{Var}(X_2)=900$। এখানে ফিচার independence ধরে নেওয়া একটা generative মডেলের জন্য নিরাপদ সিম্পলিফিকেশন হবে কি?
সমাধান: $\rho = \dfrac{850}{\sqrt{1000}\sqrt{900}} \approx \dfrac{850}{948.7} \approx 0.896$ — খুব শক্তিশালী correlation, তাই independence ধরে নিলে একটা বড়, বাস্তব সম্পর্ক বাদ পড়ে যাবে। এই dependence ধরতে পারে (বা স্পষ্টভাবে একটাকে আরেকটার শর্তে রাখে) এমন একটা মডেল সম্ভবত লক্ষণীয়ভাবে ভালো পারফর্ম করবে।

চ্যাপ্টার সামারি

শেখার সুপারিশকৃত ক্রম