Evaluation Metrics

भूमिका (Motivation)

ট্রেনিং লস ক্রমাগত হ্রাস পাওয়া কেবল এটাই প্রমাণ করে যে মডেলটি কোনো না কোনো প্যাটার্ন শিখছে। কিন্তু এটি নিজে থেকে কখনো বলে না যে মডেলটি বাস্তব জীবনে সত্যিই কতটা দরকারী, কিংবা আপনার সুনির্দিষ্ট লক্ষ্য অর্জনের জন্য দুটি মডেলের মধ্যে কোনটি বেশি ভালো। এই চ্যাপ্টারে আমরা এমন কিছু ইভ্যালুয়েশন মেট্রিক্স (evaluation metrics) তৈরি ও আলোচনা করব যা আমাদের বাস্তব প্রজেক্ট চ্যাপ্টারের মডেলগুলোকে নিখুঁতভাবে যাচাই করতে সাহায্য করবে — যার মধ্যে ক্লাসিফিকেশন মেট্রিক্স, রিগ্রেশন মেট্রিক্স এবং টাইম সিরিজের বিশেষ ফোরকাস্টিং মেট্রিক্স অন্তর্ভুক্ত থাকবে।

ক্লাসিফিকেশন মেট্রিক্স (Classification Metrics)

ধরা যাক, একটি বাইনারি ক্লাসিফায়ার (binary classifier) ইনপুটের সাপেক্ষে প্রবাবিলিটি বা সম্ভাবনা আউটপুট দেয়, যা একটি নির্দিষ্ট থ্রেশহোল্ড (সাধারণত ০.৫) দ্বারা বাইনারি লেবেল $\hat{y} \in \{0, 1\}$-এ রূপান্তর করা হয় এবং আসল লেবেল $y \in \{0, 1\}$-এর সাথে তুলনা করা হয়।

প্রতিটি ক্লাসিফিকেশন মেট্রিক মূলত চারটি গণনার ওপর ভিত্তি করে তৈরি (যাকে Confusion Matrix বলা হয়):

$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$$$$\text{Precision} = \frac{TP}{TP+FP} \qquad \text{(আমি যা স্প্যাম বলেছি, তার মধ্যে কতটুকু আসলেই স্প্যাম ছিল?)}$$$$\text{Recall} = \frac{TP}{TP+FN} \qquad \text{(আসল স্প্যামগুলোর ঠিক কত শতাংশ আমি ধরতে পেরেছি?)}$$$$\text{F}_1\text{-score} = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} \qquad \text{(হারমোনিক গড় — যা যেকোনো চরম একমুখী পক্ষপাতকে শাস্তি দেয়)}$$

ROC কার্ভ এবং AUC (ROC Curve & AUC)

Precision, Recall এবং F1-score প্রতিটিই একটি নির্দিষ্ট ডিসিশন থ্রেশহোল্ডের (decision threshold) ওপর নির্ভর করে। অন্যদিকে, ROC কার্ভ প্রতিটি সম্ভাব্য থ্রেশহোল্ডের জন্য True Positive Rate বনাম False Positive Rate-এর গ্রাফ তৈরি করে, এবং AUC (Area Under the Curve) ওই সম্পূর্ণ কার্ভটিকে ০ থেকে ১-এর মধ্যকার একটি একক সংখ্যায় প্রকাশ করে।

AUC-এর প্রবাবিলিস্টিক ব্যাখ্যা: এর অর্থ হলো, মডেলটি একটি র্যান্ডম পজিটিভ উদাহরণকে একটি র্যান্ডম নেগেটিভ উদাহরণের চেয়ে বেশি স্কোর বা অগ্রাধিকার দেওয়ার সম্ভাবনা কতটুকু। AUC ০.৫ হওয়ার অর্থ হলো র্যান্ডম অনুমানের সমান; এবং ১.০ হওয়ার অর্থ হলো নিখুঁতভাবে দুটি ক্লাস আলাদা করতে পারা।

python

Copy

রিগ্রেশন মেট্রিক্স (Regression Metrics)

টাইম সিরিজ পূর্বাভাসের ক্ষেত্রে যেখানে মডেল কন্টিনিউয়াস বা দশমিক সংখ্যা আউটপুট দেয়, সেখানে ব্যবহৃত মেট্রিকসমূহ:

$$\text{MAE} = \frac{1}{n}\sum_{i=1}^n |y_i - \hat{y}_i| \qquad \text{(গড় পরম ত্রুটি — যা আসল টার্গেটের একই এককে থাকে)}$$$$\text{MSE} = \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2 \qquad \text{(গড় বর্গাকার ত্রুটি — যা বড় ভুলগুলোকে অনেক বাড়িয়ে দেখায়)}$$$$\text{RMSE} = \sqrt{\text{MSE}} \qquad \text{(রুট MSE — যা আসল ইউনিটে থাকলেও বড় ভুলগুলোকে বেশি শাস্তি দেয়)}$$$$R^2 = 1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2} \qquad \text{(মডেলটি ডেটার ভ্যারিয়েন্সের কত অংশ ব্যাখ্যা করতে পেরেছে; ১.০ = নিখুঁত)}$$

ফোরকাস্টিং-নির্দিষ্ট মেট্রিক্স (Forecasting-Specific Metrics)

$$\text{MAPE} = \frac{100}{n}\sum_{i=1}^n \left|\frac{y_i - \hat{y}_i}{y_i}\right| \qquad \text{(গড় পরম শতাংশ ত্রুটি)}$$$$\text{SMAPE} = \frac{100}{n}\sum_{i=1}^n \frac{2|y_i - \hat{y}_i|}{|y_i| + |\hat{y}_i|} \qquad \text{(সিমেট্রিক MAPE — যা শূন্যের কাছাকাছি মানের কারণে অসীম হওয়া এড়ায়)}$$

python

Copy

সঠিক মেট্রিক নির্বাচন করা (Choosing the Right Metric)

মূল বিষয়গুলো (Key Takeaways)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তব প্র্যাকটিসে এর ভূমিকা

মেশিন লার্নিংয়ের প্রতিটি গবেষণাপত্রে অন্তত একটি মেট্রিক এই চ্যাপ্টার থেকে ব্যবহৃত হয়। আপনার কাজের জন্য সঠিক মেট্রিকটি বেছে নিতে পারা — এবং কেন অন্যান্য মেট্রিক ব্যবহার করলে তা বিভ্রান্তিকর হতো তা ব্যাখ্যা করতে পারা — বাস্তব প্রজেক্ট বা ইন্টারভিউ বোর্ডে আপনার গভীর মেশিন লার্নিং দক্ষতার একটি অন্যতম শক্তিশালী পরিচয়।