Conditional Probability & Independence

১. কন্ডিশনাল প্রোবাবিলিটির পরিচিতি

Basic Probability চ্যাপ্টারে তুমি ভোকাবুলারি শিখেছো — স্যাম্পল স্পেস, ইভেন্ট, আর একা একটা $P(A)$-এর নিয়মগুলো। কিন্তু বাস্তব জগতে প্রায় কিছুই একা একা ঘটে না। নতুন তথ্য সবসময়ই আসতে থাকে, আর প্রতিবার যখন আসে, তোমার প্রোবাবিলিটিও বদলানো উচিত। এই চ্যাপ্টার হলো সেই বদলটা সঠিকভাবে করার নিয়ম — আন্দাজে না, একটা ফর্মুলা দিয়ে।

কন্ডিশনাল প্রোবাবিলিটি কী?

কন্ডিশনাল প্রোবাবিলিটি হলো কোনো ইভেন্ট ঘটার সম্ভাবনা, যখন তুমি আগে থেকেই জানো আরেকটা ইভেন্ট ঘটেছে বা সত্যি। এটা এমন প্রশ্নের উত্তর দেয়: "এখন যেহেতু আমি X জানি, Y ঘটার সম্ভাবনা কতটুকু?"

• "যদি মেঘলা থাকে, বৃষ্টি হওয়ার সম্ভাবনা কতটুকু?"
• "যদি একজন রোগীর টেস্ট পজিটিভ আসে, তার আসলেই রোগ থাকার সম্ভাবনা কতটুকু?"
• "যদি প্রথম কার্ডটা টেক্কা হয়, দ্বিতীয় কার্ডও টেক্কা হওয়ার সম্ভাবনা কতটুকু?"

প্রতিটা প্রশ্নই একটা প্লেইন, আনকন্ডিশনাল প্রোবাবিলিটি থেকে শুরু করে, তারপর নতুন তথ্য দিয়ে সেটাকে সংকুচিত করে। এই সংকোচনটাই আসল আইডিয়া।

কন্ডিশনাল প্রোবাবিলিটি কেন গুরুত্বপূর্ণ

আনকন্ডিশনাল প্রোবাবিলিটি, $P(A)$, প্রতিটা পরিস্থিতিকে যেন একদম খালি স্লেট ধরে নেয় — মনে করো তুমি জগত সম্পর্কে আর কিছুই জানো না। বাস্তবে এটা প্রায় কখনোই সত্যি না। প্রতিটা সিদ্ধান্তের সাথেই সাধারণত কিছু না কিছু কনটেক্সট আগে থেকেই জানা থাকে — একটা টেস্ট রেজাল্ট, একজন কাস্টমারের আগের ব্রাউজিং হিস্ট্রি, একটা সেন্সর রিডিং, একটা বাক্যের প্রথম কয়েকটা শব্দ। কন্ডিশনাল প্রোবাবিলিটি হলো সেই টুল, যেটা এই কনটেক্সটকে হিসাবে ঢুকিয়ে নেয়, ফেলে না দিয়ে।

যেই তথ্য হাতে আছে সেটা উপেক্ষা করে প্লেইন, আনকন্ডিশনাল প্রোবাবিলিটি ব্যবহার করাটা শুধু অপচয় না — এটা ভয়াবহভাবে ভুলও হতে পারে। একজন ডাক্তার যদি পজিটিভ টেস্ট রেজাল্ট উপেক্ষা করে শুধু জেনারেল পপুলেশনে রোগটার বেস রেট বলে দেয়, তাহলে সে রোগীকে সম্পূর্ণ ভুল সংখ্যা দিচ্ছে।

বাস্তব জীবনের উদাহরণ

মেশিন লার্নিং-এ কন্ডিশনাল প্রোবাবিলিটি

মেশিন লার্নিং মডেল আসলে মূলত কন্ডিশনাল প্রোবাবিলিটির মেশিন। একটা ক্লাসিফায়ার "বিড়াল হওয়ার প্রোবাবিলিটি" বিমূর্তভাবে হিসাব করে না — সে হিসাব করে $P(\text{বিড়াল} \mid \text{এই ছবির পিক্সেলগুলো})$ — নির্দিষ্ট ইনপুট দেখার পর ক্লাসের প্রোবাবিলিটি। একটা ল্যাঙ্গুয়েজ মডেল "bank" শব্দের প্রোবাবিলিটি জেনারেলি হিসাব করে না — সে হিসাব করে $P(\text{"bank"} \mid \text{আগের শব্দগুলো})$। মডেলের প্রতিটা প্রেডিকশনই একটা কন্ডিশনাল প্রোবাবিলিটি, যেই ইনপুট ফিচারগুলো দেওয়া হয়েছে তার উপর কন্ডিশন করা। এই চ্যাপ্টারে ঠিক এই মেকানিজমটাই তৈরি করব।

২. কন্ডিশনাল প্রোবাবিলিটি

P(A|B)-এর সংজ্ঞা

একই স্যাম্পল স্পেসের দুইটা ইভেন্ট $A$ আর $B$-এর জন্য, যখন $P(B) > 0$, $A$-এর প্রোবাবিলিটি $B$ দেওয়া থাকলে, এভাবে সংজ্ঞায়িত করা হয়:

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$

যেখানে:

• $P(A \mid B)$ — পড়া হয় "$A$-এর প্রোবাবিলিটি, $B$ দেওয়া থাকলে।"
• $P(A \cap B)$ — জয়েন্ট প্রোবাবিলিটি, $A$ আর $B$ দুটোই ঘটার।
• $P(B)$ — $B$ ঘটার প্লেইন, আনকন্ডিশনাল প্রোবাবিলিটি। এটা ০-এর চেয়ে বড় হতে হবে, কারণ যেটা কখনোই ঘটে না তার উপর কন্ডিশন করা অর্থহীন।

ইনটুইশন: একবার তুমি জানলে $B$ সত্যি, তাহলে পুরো স্যাম্পল স্পেসটাই কার্যত সংকুচিত হয়ে শুধু $B$-এর ভেতরের ফলাফলগুলোতে নেমে আসে — $B$-এর বাইরের কিছুই আর সম্ভব থাকে না। এরপর $P(A \mid B)$ জিজ্ঞেস করে: এই সংকুচিত জগতের মধ্যে, কতটুকু অংশ $A$-এরও অন্তর্ভুক্ত?

P(A|B) কীভাবে বুঝবে

একটা অভ্যাস গড়ে তোলা দরকার: $P(A \mid B)$ হলো একটা সম্পূর্ণ আলাদা সংখ্যা, একটা আলাদা, ছোট জগতে বাস করা — $P(A)$-এর চেয়ে। এটা $P(A)$-এর একটা ছোট correction না — এটা $P(A)$-এর চেয়ে অনেক বেশি, অনেক কম, অথবা (ইনডিপেন্ডেন্সের বিশেষ ক্ষেত্রে, সেকশন ৪-এ দেখবে) ঠিক $P(A)$-এর সমান — যেকোনোটাই হতে পারে।

ছোট উদাহরণ। একটা fair ডাইস রোল করা হলো। $A$ = "ফলাফল জোড়" = $\{2,4,6\}$ আর $B$ = "ফলাফল ৩-এর চেয়ে বড়" = $\{4,5,6\}$। আনকন্ডিশনাল $P(A) = \frac{1}{2}$। কিন্তু একবার $B$ সত্যি জানলে (রোলটা ৪, ৫, বা ৬), জগত সংকুচিত হয়ে $\{4, 5, 6\}$-এ নেমে আসে, আর এই তিনটার মধ্যে দুইটা জোড়:

$$P(A \mid B) = \frac{P(\{4,6\})}{P(\{4,5,6\})} = \frac{2/6}{3/6} = \frac{2}{3}$$

$B$ জানার পর $A$-এর প্রোবাবিলিটি বেড়ে $\frac{1}{2}$ থেকে $\frac{2}{3}$-এ চলে গেলো — কারণ "৩-এর চেয়ে বড়" এই ছোট জগতে, জোড় সংখ্যা পুরো ডাইসের তুলনায় বেশি প্রতিনিধিত্ব পাচ্ছে।

ভেন ডায়াগ্রামে কন্ডিশনাল প্রোবাবিলিটি

একটা ভেন ডায়াগ্রাম "জগত সংকুচিত হওয়া" আইডিয়াটা চোখে দেখিয়ে দেয়। স্যাম্পল স্পেস $S$-কে একটা আয়তক্ষেত্র হিসেবে আঁকো, আর $A$, $B$-কে দুইটা ওভারল্যাপিং সার্কেল হিসেবে ভেতরে। $P(A \mid B)$ হলো ওভারল্যাপিং অংশ ($A \cap B$) সার্কেল $B$-এর পুরোটার একটা ভগ্নাংশ হিসেবে — পুরো আয়তক্ষেত্র $S$-এর ভগ্নাংশ হিসেবে না, যেটা প্লেইন $P(A)$-এর সাথে তুলনা করত।

Conditional Probability as a Shrinking UniverseIllustration coming soon

এই কারণেই $P(A \mid B)$ আর $P(A)$ এতটা আলাদা হতে পারে — এই দুইটা আসলে দুই আলাদা "পুরোটা"-র ভগ্নাংশ হিসেবে হিসাব করা হচ্ছে।

টেবিল দিয়ে কন্ডিশনাল প্রোবাবিলিটি

টেবিল (যাকে কনটিনজেন্সি টেবিল বা টু-ওয়ে টেবিলও বলা হয়) প্রায়ই হাতে-কলমে কন্ডিশনাল প্রোবাবিলিটি বের করার সবচেয়ে দ্রুত, কম ভুলপ্রবণ উপায়, বিশেষ করে যখন প্রবলেমটা অ্যাবস্ট্র্যাক্ট সেট নোটেশনের বদলে কাউন্ট দিয়ে দেওয়া থাকে।

উদাহরণ। ১০০ জনের একটা সার্ভেতে রেকর্ড করা হলো, কার গাড়ি আছে আর কার বাড়ি আছে:

$P(\text{গাড়ি আছে} \mid \text{বাড়ি আছে})$ বের করতে, শুধু "বাড়ি আছে" কলামে মনোযোগ দাও (মোট ৪০ জন), আর জিজ্ঞেস করো এদের মধ্যে কতজনের গাড়িও আছে (৩০ জন):

$$P(A \mid B) = \frac{30}{40} = 0.75$$

খেয়াল করো, এটা ঠিক ফর্মুলার সাথে মিলে যাচ্ছে: $P(A \cap B) = \frac{30}{100} = 0.30$ আর $P(B) = \frac{40}{100} = 0.40$, তাই $P(A \mid B) = \frac{0.30}{0.40} = 0.75$ — টেবিল মেথড আর ফর্মুলা সবসময় একই উত্তর দেয়, কারণ টেবিলটা আসলে জয়েন্ট ডিস্ট্রিবিউশনই, শুধু রঁ কাউন্ট আকারে লেখা।

বেসিক কন্ডিশনাল প্রোবাবিলিটি প্রবলেম সলভ করা

প্রবলেম ১। একটা fair ডাইস রোল করা হলো। যদি ফলাফল বেজোড় হয়, তাহলে সেটা ৩-এর চেয়ে বড় হওয়ার সম্ভাবনা কতটুকু? $A$ = "৩-এর চেয়ে বড়" = $\{4,5,6\}$, $B$ = "বেজোড়" = $\{1,3,5\}$। $A \cap B = \{5\}$।

$$P(A \mid B) = \frac{P(\{5\})}{P(\{1,3,5\})} = \frac{1/6}{3/6} = \frac{1}{3}$$

প্রবলেম ২। একটা ক্লাসে, ৬০% স্টুডেন্ট ম্যাথ পড়ে, ৫০% ফিজিক্স পড়ে, আর ৩০% দুটোই পড়ে। র‍্যান্ডমলি বাছাই করা একজন স্টুডেন্ট ম্যাথ পড়ে জানা থাকলে, সে ফিজিক্সও পড়ার সম্ভাবনা কতটুকু?

$$P(\text{ফিজিক্স} \mid \text{ম্যাথ}) = \frac{P(\text{ম্যাথ} \cap \text{ফিজিক্স})}{P(\text{ম্যাথ})} = \frac{0.30}{0.60} = 0.5$$

নিচের প্লেগ্রাউন্ডে হাতে-কলমে চেষ্টা করে দেখো — এই একই ইনটুইশনটা ইন্টারঅ্যাক্টিভলি বুঝতে পারবে, তারপর দেখব এই ফর্মুলাটা আসলে কোথা থেকে এসেছে।

প্রথমে "Smoking & lung disease" প্রিসেটটা চেষ্টা করো, তারপর "Two fair coin tosses" প্রিসেট — খেয়াল করো, কয়েনের ক্ষেত্রে P(A|B) কার্ড প্রায় P(A)-এর কাছাকাছিই থাকে, কিন্তু স্মোকিং-এর ক্ষেত্রে অনেকটা সরে যায়। P(A|B) আর P(A)-এর মধ্যে এই ফারাকটাই, একটা সংখ্যায়, এই পুরো চ্যাপ্টারের মূল বিষয়।

৩. মাল্টিপ্লিকেশন রুল

মাল্টিপ্লিকেশন রুল কীভাবে আসে

কন্ডিশনাল প্রোবাবিলিটির সংজ্ঞা, $P(A \mid B) = \frac{P(A \cap B)}{P(B)}$, দুইপাশে $P(B)$ গুণ করে রিঅ্যারেঞ্জ করা যায়। এই একটা algebra স্টেপ নিজে থেকেই মুখস্থ রাখার মতো — এটা বারবার কাজে লাগবে, এই চ্যাপ্টারে আর পরের চ্যাপ্টারেও:

$$P(A \mid B) \cdot P(B) = P(A \cap B)$$

একইভাবে, $P(B \mid A) = \frac{P(A \cap B)}{P(A)}$ থেকে শুরু করে রিঅ্যারেঞ্জ করলে একটা সিমেট্রিক দ্বিতীয় ভার্সন পাওয়া যায়:

$$P(A \cap B) = P(A) \cdot P(B \mid A)$$

দুইটা ভার্সনই একই জিনিস, $P(A \cap B)$, হিসাব করে — শুধু কন্ডিশনিং শুরু করে ভিন্ন ইভেন্ট থেকে, আর কোনটা কোন সময় কাজে লাগবে সেটা নির্ভর করে তুমি কোন কন্ডিশনাল প্রোবাবিলিটিটা আসলে জানো তার উপর।

$$P(A \cap B) = P(A)\,P(B \mid A) = P(B)\,P(A \mid B)$$

ইনটুইশন: দুইটা জিনিস দুটোই ঘটার প্রোবাবিলিটি বের করতে, প্রথমে প্রথমটা ঘটার প্রোবাবিলিটি বের করো, তারপর গুণ করো দ্বিতীয়টা ঘটার প্রোবাবিলিটি দিয়ে, প্রথমটা ইতিমধ্যে ঘটেছে ধরে নিয়ে। তুমি প্রোবাবিলিটিগুলোকে একটা ধাপে ধাপে চেইনের মতো জোড়া লাগাচ্ছো, আলাদা আলাদা, অসম্পর্কিত ইভেন্ট হিসেবে ধরে না নিয়ে।

জয়েন্ট প্রোবাবিলিটি

$P(A \cap B)$ — $A$ আর $B$ দুটোই ঘটার প্রোবাবিলিটি — কে বলা হয় তাদের জয়েন্ট প্রোবাবিলিটি। এটা একটা সংখ্যা, যেটা একটা কম্বাইন্ড ফলাফল বর্ণনা করে, কোনো একটা ইভেন্ট একা না। সেকশন ২-এর টু-ওয়ে টেবিলে, প্রতিটা আলাদা সেল (রো বা কলাম টোটাল না) একটা জয়েন্ট প্রোবাবিলিটি — "গাড়িও আছে আর বাড়িও আছে" হলো $P(A \cap B) = 0.30$।

উদাহরণ। ৫২ কার্ডের ডেক থেকে দুইটা কার্ড টানা হলো, ফেরত না দিয়ে। দুইটাই টেক্কা হওয়ার জয়েন্ট প্রোবাবিলিটি কতটুকু?

$$P(\text{১ম টেক্কা}) = \frac{4}{52}, \qquad P(\text{২য় টেক্কা} \mid \text{১ম টেক্কা}) = \frac{3}{51}$$ $$P(\text{দুটোই টেক্কা}) = \frac{4}{52} \times \frac{3}{51} = \frac{12}{2652} \approx 0.0045$$

দ্বিতীয় ভগ্নাংশটা $\frac{4}{52}$ থেকে $\frac{3}{51}$-এ নেমে গেলো ঠিক এই কারণে যে প্রথম টানাটা একটা কার্ড সরিয়ে দিয়েছে — একটা কম টেক্কা, একটা কম কার্ড মোট — আর মাল্টিপ্লিকেশন রুলই ঠিক সেই বদলে যাওয়া প্রোবাবিলিটিটাকে সঠিকভাবে চেইন করার সুযোগ দেয়।

কন্ডিশনাল আর জয়েন্ট প্রোবাবিলিটির সম্পর্ক

মাল্টিপ্লিকেশন রুল আর কন্ডিশনাল প্রোবাবিলিটির সংজ্ঞা আসলে একই সম্পর্ক, শুধু দুই দিক থেকে দেখা:

৪. ইনডিপেন্ডেন্ট ইভেন্ট

ইনডিপেন্ডেন্স কী?

ইনডিপেন্ডেন্স হলো সেই বিশেষ ক্ষেত্র, যেখানে কন্ডিশনিং কিছুই বদলায় না। যদি $B$ ঘটেছে জানাটা $A$ ঘটবে কিনা তার ব্যাপারে তোমাকে একদম নতুন কোনো তথ্য না দেয়, তাহলে $A$ আর $B$ ইনডিপেন্ডেন্ট। ফরমালি, এর মানে $P(A \mid B) = P(A)$ — সেকশন ২-এর "সংকুচিত জগত"-এ আসলে পুরো স্যাম্পল স্পেসের মতোই একই অনুপাতে $A$ আছে।

ইনডিপেন্ডেন্ট ইভেন্টের সংজ্ঞা

$P(A \mid B) = P(A)$ কে সেকশন ৩-এর মাল্টিপ্লিকেশন রুলে বসালে ইনডিপেন্ডেন্সের স্ট্যান্ডার্ড, চেক-যোগ্য সংজ্ঞা পাওয়া যায়:

$$P(A \cap B) = P(A)\,P(B)$$

যেখানে এই একটামাত্র সমীকরণই সংজ্ঞা আর টেস্ট দুটোই: দুইটা ইভেন্ট $A$ আর $B$ ইনডিপেন্ডেন্ট, ঠিক তখনই যখন তাদের জয়েন্ট প্রোবাবিলিটি তাদের প্লেইন প্রোবাবিলিটির গুণফলের সমান — কন্ডিশনিং বা ভাগ করার দরকারই নেই, এটা চেক করতে।

এটা সমতুল্য $P(A \mid B) = P(A)$ বলার সাথে (যখন $P(B) > 0$) আর সিমেট্রিকভাবে $P(B \mid A) = P(B)$-এর সাথে (যখন $P(A) > 0$) — তিনটা স্টেটমেন্টই $A$ আর $B$-এর সম্পর্ক নিয়ে একই কথা বলছে।

ইনডিপেন্ডেন্স টেস্ট করা

দুইটা নির্দিষ্ট ইভেন্টের ইনডিপেন্ডেন্স চেক করতে, আলাদাভাবে $P(A)$, $P(B)$, আর $P(A \cap B)$ হিসাব করো, তারপর $P(A \cap B)$-কে $P(A) \times P(B)$-এর সাথে তুলনা করো।

উদাহরণ। একটা fair কয়েন দুইবার টস করা হলো। $A$ = "১ম টস হেড" আর $B$ = "২য় টস হেড"। $P(A) = \frac{1}{2}$, $P(B) = \frac{1}{2}$, আর $P(A \cap B) = P(\text{HH}) = \frac{1}{4}$ (৪-ফলাফলের স্যাম্পল স্পেস $\{HH, HT, TH, TT\}$ থেকে)।

$$P(A)\,P(B) = \frac{1}{2} \times \frac{1}{2} = \frac{1}{4} = P(A \cap B) \quad \checkmark \text{ ইনডিপেন্ডেন্ট}$$

কাউন্টার-উদাহরণ। ৫২ কার্ডের ডেক থেকে একটা কার্ড টানা হলো। $A$ = "টেক্কা" ($P(A) = \frac{4}{52}$) আর $B$ = "হার্ট" ($P(B) = \frac{13}{52}$)। $A \cap B$ = "হার্টের টেক্কা", তাই $P(A \cap B) = \frac{1}{52}$।

$$P(A)\,P(B) = \frac{4}{52} \times \frac{13}{52} = \frac{52}{2704} = \frac{1}{52} = P(A \cap B) \quad \checkmark \text{ ইনডিপেন্ডেন্ট (একটু অবাক করা!)}$$

সুট আর র‍্যাংক আলাদা, অসম্পর্কিত বৈশিষ্ট্য মনে হলেও, এটা মিলে গেলো শুধু এই কারণে যে একটা স্ট্যান্ডার্ড ডেকে প্রতিটা সুটে ঠিক একই সংখ্যক প্রতিটা র‍্যাংক আছে। ডেকটা একটু বদলে দাও (একটা টেক্কা সরিয়ে ফেলো) — এই সমতা ভেঙে যাবে। ইনডিপেন্ডেন্স একটা নির্দিষ্ট সেটআপের precise numerical fact, চোখে দেখে আন্দাজ করার মতো vague ইনটুইশন না। সেকশন ২-এর প্লেগ্রাউন্ডে ফিরে গিয়ে কাউন্টগুলো হাতে বদলে দেখো — দেখবে একটা মাত্র সেল সামান্য বদলালেই টেবিলটা "ইনডিপেন্ডেন্ট" থেকে "ডিপেন্ডেন্ট"-এ চলে যায় কত সহজে।

ইনডিপেন্ডেন্ট ইভেন্টের উদাহরণ

৫. ডিপেন্ডেন্ট ইভেন্ট

ডিপেন্ডেন্স কী?

ডিপেন্ডেন্স হলো ইনডিপেন্ডেন্সের ঠিক উল্টো: $A$ আর $B$ ডিপেন্ডেন্ট, যখনই $P(A \mid B) \neq P(A)$ — $B$ জানা আসলে $A$-এর ব্যাপারে তোমার বিশ্বাস বদলে দেয়, হয় বাড়িয়ে নয়তো কমিয়ে। ডিপেন্ডেন্স কোনো বিশেষ বা অস্বাভাবিক ব্যাপার না — বাস্তবে সত্যিকারভাবে সম্পর্কিত ইভেন্টের ক্ষেত্রে ডিপেন্ডেন্সই নিয়ম, আর ইনডিপেন্ডেন্স হলো ব্যতিক্রম, যেটা আলাদাভাবে প্রমাণ করতে হয়।

ইনডিপেন্ডেন্ট বনাম ডিপেন্ডেন্ট ইভেন্ট

বাস্তব জীবনের উদাহরণ

ফেরত দিয়ে বনাম ফেরত না দিয়ে স্যাম্পলিং

এটা ডিপেন্ডেন্স বনাম ইনডিপেন্ডেন্সের সবচেয়ে পরিষ্কার, concrete উদাহরণ, আর প্রোবাবিলিটি প্রবলেমে বারবার আসে।

• ফেরত দিয়ে স্যাম্পলিং: প্রতিটা টানার পর, আইটেমটা পরের টানার আগে ফেরত রাখা হয়। প্রতিটা টানা ঠিক একই পুল দেখে, তাই একের পর এক টানাগুলো ইনডিপেন্ডেন্ট।
• ফেরত না দিয়ে স্যাম্পলিং: প্রতিটা টানা আইটেম সরিয়ে ফেলা হয়, বাইরেই থাকে। পুলটা প্রতিটা টানার সাথে সাথে ছোট হয় আর গঠন বদলায়, তাই একের পর এক টানাগুলো ডিপেন্ডেন্ট।

উদাহরণ তুলনা। একটা ব্যাগে ৫টা লাল আর ৫টা নীল মার্বেল (মোট ১০টা)। প্রথম দুইটা টানাই লাল হওয়ার প্রোবাবিলিটি কতটুকু?

৬. কন্ডিশনাল ইনডিপেন্ডেন্স

কন্ডিশনাল ইনডিপেন্ডেন্স কী?

কন্ডিশনাল ইনডিপেন্ডেন্স একটু সূক্ষ্ম একটা আইডিয়া: দুইটা ইভেন্ট জেনারেলি ডিপেন্ডেন্ট হতে পারে, কিন্তু আগে থেকেই একটা তৃতীয় ইভেন্ট জানা থাকলে ইনডিপেন্ডেন্ট হয়ে যেতে পারে। ফরমালি, $A$ আর $B$ কন্ডিশনালি ইনডিপেন্ডেন্ট, $C$ দেওয়া থাকলে, যদি:

$$P(A \cap B \mid C) = P(A \mid C)\,P(B \mid C)$$

সমতুল্যভাবে: $P(A \mid B, C) = P(A \mid C)$ — একবার তুমি $C$ জানলে, তার উপরে আবার $B$ জানাটা $A$ সম্পর্কে আর কোনো নতুন তথ্য দেয় না। $A$ আর $B$-এর মধ্যে যা কিছু "সম্পর্ক" ছিল, সেটা আসলে $C$-এর মধ্য দিয়েই প্রবাহিত হচ্ছিল।

ইনডিপেন্ডেন্স বনাম কন্ডিশনাল ইনডিপেন্ডেন্স

এগুলো আসলেই আলাদা দুইটা বৈশিষ্ট্য, আর একটা থাকলে অন্যটা থাকতেই হবে এমন না, কোনো দিকেই:

সহজ উদাহরণ

উদাহরণ — শেয়ার্ড কারণ ডিপেন্ডেন্স তৈরি করে, কন্ডিশনিং সেটা সরিয়ে দেয়। ধরো $A$ = "আজ সকালে স্প্রিংকলার চালু ছিল," $B$ = "ঘাস ভেজা," আর $C$ = "গতরাতে বৃষ্টি হয়েছে।" বৃষ্টি হলে স্প্রিংকলার দরকার হওয়ার সম্ভাবনা কমে আর সরাসরি ঘাসও ভিজিয়ে দেয়, তাই $A$ আর $B$ জেনারেলি ডিপেন্ডেন্ট মনে হয় (ভেজা ঘাস দেখলে বৃষ্টি হয়েছে এমন মনে হওয়ার সম্ভাবনা বাড়ে, যেটা স্প্রিংকলার দরকার ছিল কিনা তার সম্ভাবনাও বদলায়)। কিন্তু একবার $C$ নিশ্চিতভাবে জানলে (তুমি জানো বৃষ্টি হয়েছে), ঘাস ভেজা কিনা জানাটা স্প্রিংকলার সম্পর্কে আর কোনো অতিরিক্ত তথ্য দেয় না — দুটো $C$ দেওয়া থাকলে কন্ডিশনালি ইনডিপেন্ডেন্ট হয়ে যায়।

উদাহরণ — ডিজিজ টেস্টিং-এ কন্ডিশনাল ইনডিপেন্ডেন্স। অনেক সরল করা মেডিকেল মডেলে, দুইটা আলাদা ডায়াগনস্টিক টেস্টের রেজাল্টকে আসল ডিজিজ স্ট্যাটাস দেওয়া থাকলে কন্ডিশনালি ইনডিপেন্ডেন্ট ধরা হয়: $P(\text{টেস্ট ১} \cap \text{টেস্ট ২} \mid \text{রোগ}) = P(\text{টেস্ট ১} \mid \text{রোগ})\,P(\text{টেস্ট ২} \mid \text{রোগ})$। একবার তুমি নিশ্চিতভাবে জানলে রোগীর রোগ আছে কিনা, একটা টেস্টের রেজাল্ট অন্যটার সম্পর্কে আর অতিরিক্ত তথ্য দেয় না — যদিও রোগ স্ট্যাটাস না জানলে দুইটা টেস্ট রেজাল্ট correlated (দুটোই একসাথে পজিটিভ আসার প্রবণতা থাকে, কারণ দুটোই একই আন্ডারলাইং কন্ডিশন ধরছে)।

মেশিন লার্নিং-এ কন্ডিশনাল ইনডিপেন্ডেন্স কেন গুরুত্বপূর্ণ

কন্ডিশনাল ইনডিপেন্ডেন্স শুধু একটা mathematical কৌতূহল না — এটাই সেই অ্যাসাম্পশন, যেটা অনেক প্রোবাবিলিস্টিক মডেলকে computationally সম্ভব করে তোলে। ফিচারের সংখ্যা বাড়ার সাথে সাথে প্রতিটা জোড়া (বা বড় গ্রুপ) ফিচারের মধ্যে সব ইন্টারঅ্যাকশন মডেল করতে exponentially বেশি ডেটা আর কম্পিউটেশন লাগে। ক্লাস লেবেল (বা অন্য কোনো ভ্যারিয়েবল) দেওয়া থাকলে কন্ডিশনাল ইনডিপেন্ডেন্স ধরে নেওয়া, সেই এক্সপ্লোশনটাকে এমন কিছুতে সংকুচিত করে দেয় যা আসলে হিসাব করা যায় — এটাই ঠিক সেই অ্যাসাম্পশন, যা Naive Bayes ক্লাসিফায়ারের পেছনে আছে, নিচে সেকশন ৯-এ প্রিভিউ করা হবে আর বেইজ থিওরেম চ্যাপ্টারে পুরোপুরি কভার করা হবে।

৭. ল অফ টোটাল প্রোবাবিলিটি

স্যাম্পল স্পেসের পার্টিশন

স্যাম্পল স্পেস $S$-এর একটা পার্টিশন হলো ইভেন্টের একটা কালেকশন $B_1, B_2, \ldots, B_n$, যেটা দুইটা শর্ত মানে: এগুলো মিউচুয়ালি এক্সক্লুসিভ (কোনো দুইটা ওভারল্যাপ করে না, $B_i \cap B_j = \emptyset$, $i \neq j$-এর জন্য) আর এক্সহস্টিভ (সবগুলো একসাথে পুরো স্যাম্পল স্পেস কভার করে, $B_1 \cup B_2 \cup \cdots \cup B_n = S$)। $S$-এর প্রতিটা ফলাফল ঠিক একটা পার্টিশন অংশের মধ্যেই থাকে — কোনো ফলাফল বাদ যায় না, কোনো ফলাফল দুইবার গোনা হয় না।

একটা সহজ, রোজকার পার্টিশন: যেকোনো ইভেন্ট $B$-এর জন্য, জোড়া $\{B, B^c\}$ সবসময়ই $S$-এর একটা valid পার্টিশন — প্রতিটা ফলাফল হয় $B$-তে আছে, নয়তো নেই, কোনো ওভারল্যাপ নেই, কিছুই বাদ যায় না।

টোটাল প্রোবাবিলিটি

ল অফ টোটাল প্রোবাবিলিটি তোমাকে যেকোনো ইভেন্ট $A$-এর প্লেইন, আনকন্ডিশনাল প্রোবাবিলিটি বের করতে দেয়, সেটাকে টুকরো টুকরো করে, একটা পার্টিশনের প্রতিটা অংশের উপর কন্ডিশন করে, তারপর টুকরোগুলো আবার যোগ করে। $P(A)$ সরাসরি হিসাব করার বদলে (যেটা কঠিন হতে পারে), তুমি কয়েকটা সহজ কন্ডিশনাল প্রোবাবিলিটি হিসাব করো, আর সেগুলো একসাথে যোগ করো।

ফর্মুলা

$$P(A) = \sum_{i=1}^{n} P(A \mid B_i)\,P(B_i)$$

যেখানে:

• $B_1, \ldots, B_n$ স্যাম্পল স্পেসের একটা পার্টিশন তৈরি করে।
• $P(A \mid B_i)$ — প্রতিটা পার্টিশন অংশের মধ্যে $A$-এর প্রোবাবিলিটি।
• $P(B_i)$ — সেই পার্টিশন অংশটা নিজে কতটা সম্ভব।

সবচেয়ে কমন দুই-অংশের ক্ষেত্রে (শুধু $B$ আর $B^c$-এর পার্টিশন):

$$P(A) = P(A \mid B)\,P(B) + P(A \mid B^c)\,P(B^c)$$

কেন এটা কাজ করে: এটা আসলে সেকশন ৩-এর মাল্টিপ্লিকেশন রুলই, প্রতিটা পার্টিশন অংশের জন্য একবার করে প্রয়োগ করে তারপর যোগ করা — এই ফ্যাক্ট ব্যবহার করে যে অংশগুলো ওভারল্যাপ করে না (তাই ডাবল-কাউন্টিং নেই) আর সবকিছু কভার করে (তাই কিছুই বাদ যায় না)।

সহজ প্রবলেম সলভিং

উদাহরণ। একটা ফ্যাক্টরিতে দুইটা মেশিন। মেশিন A সব পার্টসের ৬০% বানায় আর ডিফেক্ট রেট ২%। মেশিন B বাকি ৪০% বানায় আর ডিফেক্ট রেট ৫%। র‍্যান্ডমলি বাছাই করা একটা পার্টস নষ্ট হওয়ার সামগ্রিক প্রোবাবিলিটি কতটুকু?

ধরো $D$ = "নষ্ট," $B_1$ = "মেশিন A-তে তৈরি" ($P(B_1) = 0.60$), $B_2$ = "মেশিন B-তে তৈরি" ($P(B_2) = 0.40$)।

$$P(D) = P(D \mid B_1)P(B_1) + P(D \mid B_2)P(B_2) = (0.02)(0.60) + (0.05)(0.40) = 0.012 + 0.020 = 0.032$$

ফলাফল। সামগ্রিকভাবে সব পার্টসের ৩.২% নষ্ট — একটা সংখ্যা, দুই মেশিনের ভিন্ন রেট থেকে মিশিয়ে বের করা, প্রতিটা মেশিন আসলে কতটুকু আউটপুট দেয় সেই অনুপাতে ওয়েটেড।

বেইজ থিওরেমের সাথে সম্পর্ক

ল অফ টোটাল প্রোবাবিলিটি সাধারণত বেইজ থিওরেম প্রয়োগ করার সবচেয়ে কঠিন একটা ধাপ, কারণ বেইজ থিওরেমের ডিনোমিনেটর, $P(B)$ ("evidence"), প্রায় সবসময়ই এই lawটা দিয়েই হিসাব করা হয়:

$$P(A \mid B) = \frac{P(B \mid A)\,P(A)}{P(B)}, \qquad \text{যেখানে } P(B) = P(B \mid A)P(A) + P(B \mid A^c)P(A^c)$$

বেইজ থিওরেম চ্যাপ্টারের প্রতিটা worked example — ডিজিজ টেস্ট, ফ্যাক্টরি ডিফেক্ট প্রবলেম, স্প্যাম ফিল্টার — ঠিক এই expansionটাই ব্যবহার করে ভাগ করার আগে ডিনোমিনেটর বের করতে। এখানে ল অফ টোটাল প্রোবাবিলিটিতে স্বচ্ছন্দ হয়ে গেলে, পরের চ্যাপ্টারের হিসাবগুলো নতুন, অসম্পর্কিত ট্রিকের বদলে একটা স্বাভাবিক ধারাবাহিকতা মনে হবে।

৮. কমন ভুল

৯. মেশিন লার্নিং কানেকশন

ক্লাসিফিকেশনে কন্ডিশনাল প্রোবাবিলিটি

প্রতিটা ক্লাসিফায়ারই, মূলত, একটা কন্ডিশনাল প্রোবাবিলিটি estimate করার মেশিন: $P(\text{class} \mid \text{ইনপুট ফিচার})$। একটা স্প্যাম ফিল্টার estimate করে $P(\text{spam} \mid \text{ইমেইল টেক্সট})$। একটা ইমেজ ক্লাসিফায়ার estimate করে $P(\text{class} \mid \text{পিক্সেল})$। মডেলের পুরো কাজই হলো ট্রেইনিং ডেটা থেকে এই কন্ডিশনাল ডিস্ট্রিবিউশনের একটা ভালো অ্যাপ্রক্সিমেশন শিখে ফেলা, তারপর নতুন, না-দেখা ইনপুটের জন্য সেটা (বা সবচেয়ে সম্ভাব্য একটা ক্লাস) আউটপুট দেওয়া।

ক্লাস দেওয়া থাকলে ফিচারের প্রোবাবিলিটি

অনেক ক্লাসিক ক্লাসিফিকেশন অ্যাপ্রোচ — Naive Bayes সবচেয়ে বড় উদাহরণ — উল্টো দিক থেকে কাজ করে, যা তুমি হয়তো আশা করবে না: সরাসরি $P(\text{class} \mid \text{features})$ মডেল করার বদলে, তারা প্রতিটা ক্লাসের জন্য $P(\text{features} \mid \text{class})$ মডেল করে, তারপর বেইজ থিওরেম (সেকশন ৩-এর মাল্টিপ্লিকেশন রুলের উপর সরাসরি তৈরি) দিয়ে সেটাকে উল্টে ফেলে, প্রেডিকশনের জন্য আসল দরকারি রাশিতে নিয়ে যায়। বাস্তবে এটা সহজ, কারণ $P(\text{features} \mid \text{class})$ — "স্প্যাম ইমেইল সাধারণত কেমন দেখতে?" — প্রায়ই লেবেলড ট্রেইনিং ডেটা থেকে estimate করা উল্টোটার চেয়ে সহজ।

Naive Bayes-এ ইনডিপেন্ডেন্স অ্যাসাম্পশন

Naive Bayes-এর নামটাই এসেছে একটা ইচ্ছাকৃতভাবে সরল করা, "naive" অ্যাসাম্পশন থেকে: ক্লাস দেওয়া থাকলে, প্রতিটা ফিচারকে অন্য সব ফিচার থেকে কন্ডিশনালি ইনডিপেন্ডেন্ট ধরা হয় (সেকশন ৬-এর ঠিক সেই কনসেপ্ট):

$$P(x_1, x_2, \ldots, x_n \mid C) \approx P(x_1 \mid C)\,P(x_2 \mid C) \cdots P(x_n \mid C)$$

এই অ্যাসাম্পশন ছাড়া, অনেকগুলো ফিচারের জয়েন্ট প্রোবাবিলিটি একসাথে মডেল করতে ফিচারের সংখ্যা বাড়ার সাথে exponentially বেশি ডেটা লাগবে — হাজার হাজার শব্দের একটা vocabulary-র জন্য এটা একদম অব্যবহারিক। ইনডিপেন্ডেন্স অ্যাসাম্পশন সেটাকে সংকুচিত করে দেয় একটা সহজ গুণফলে, প্রতিটা ফিচারের জন্য, প্রতিটা ক্লাসের জন্য, আলাদাভাবে estimate করা একটা করে প্রোবাবিলিটির। এটা প্রায় কখনোই একদম সত্যি না (একটা বাক্যের শব্দগুলো টপিক জানলেও একদম ইনডিপেন্ডেন্ট না), কিন্তু বাস্তবে অবাক করার মতো ভালো কাজ করে — এই কারণেই Naive Bayes টেক্সট ক্লাসিফিকেশনের জন্য একটা দ্রুত, শক্তিশালী বেসলাইন হিসেবে এতদিন পরেও টিকে আছে।

কন্ডিশনাল প্রোবাবিলিটি → বেইজ থিওরেম

বেইজ থিওরেম derive করার জন্য দরকারি প্রতিটা জিনিসই ইতিমধ্যে এই চ্যাপ্টারে আছে: সেকশন ২-এর $P(A\mid B)$-এর সংজ্ঞা, সেকশন ৩-এর মাল্টিপ্লিকেশন রুল, আর সেকশন ৭-এর ল অফ টোটাল প্রোবাবিলিটি। $P(A \cap B)$-এর দুইটা মাল্টিপ্লিকেশন-রুল expansionকে একে অপরের সমান বসিয়ে ভাগ করলে সরাসরি বেইজ থিওরেম পাওয়া যায় — এই পুরো derivation, তার মেডিকেল, স্প্যাম-ফিল্টারিং, আর ফ্রড-ডিটেকশন উদাহরণসহ, পরের চ্যাপ্টারের পুরো বিষয়।

প্রোবাবিলিস্টিক মডেলে কন্ডিশনাল ইনডিপেন্ডেন্স

কন্ডিশনাল ইনডিপেন্ডেন্স অ্যাসাম্পশন শুধু Naive Bayes-এর জন্যই না — এটা একটা পুরো পরিবার মডেলের সংগঠনের মূল নীতি, যাদের বলা হয় প্রোবাবিলিস্টিক গ্রাফিক্যাল মডেল (বেইজিয়ান নেটওয়ার্ক, মার্কভ নেটওয়ার্ক, আর তাদের আত্মীয়)। এগুলো অনেক ভ্যারিয়েবলের একটা জটিল জয়েন্ট ডিস্ট্রিবিউশনকে ছোট ছোট কন্ডিশনাল ইনডিপেন্ডেন্স সম্পর্কের একটা সুসংগঠিত কালেকশন হিসেবে represent করে। একটা বিশাল, অসম্ভব জয়েন্ট প্রোবাবিলিটি টেবিলের বদলে, এই মডেলগুলো জগতকে represent করে এভাবে: "এই ভ্যারিয়েবল সরাসরি শুধু এই কয়েকটার উপরই নির্ভর করে" — ঠিক সেকশন ৬-এর স্প্রিংকলার/বৃষ্টি/ঘাসের উদাহরণের মতো স্ট্রাকচার, শুধু বড় স্কেলে, দশ-শতটা ভ্যারিয়েবল পর্যন্ত। কন্ডিশনাল ইনডিপেন্ডেন্স চিনতে পারা — আর কখন এটা যুক্তিসঙ্গত মডেলিং অ্যাসাম্পশন আর কখন না, সেটা বুঝতে পারা — এমন একটা স্কিল, যা এই কোর্সের পরে প্রায় প্রতিটা প্রোবাবিলিস্টিক মডেলেই কাজে লাগবে।

চ্যাপ্টার সামারি

শেখার ক্রম

ইন্টারভিউ প্রশ্ন