Loss Functions

Loss Function কেন দরকার

আগের চ্যাপ্টারে দেখা forward propagation একটা ইনপুটকে একটা প্রেডিকশনে পরিণত করে। কিন্তু শুধু একটা প্রেডিকশন মডেলকে কিছুই বলে না এটা ভালো কাজ করেছে কিনা। যদি একটা বাসার-দাম মডেল এমন একটা বাসার জন্য $৩,১০,০০০ প্রেডিক্ট করে যা আসলে$৩,১২,৪৫০-এ বিক্রি হয়েছিল, এটা কি একটা ভালো প্রেডিকশন, নাকি খারাপ? কীসের তুলনায়?

একটা মডেল ট্রেন করা মানে বারবার এর weight আর bias অ্যাডজাস্ট করা যাতে সময়ের সাথে প্রেডিকশন ভালো হয় — কিন্তু "ভালো" মানে এমন একটা সংখ্যা হতে হবে যা আসলেই হিসাব করা, তুলনা করা, আর উন্নত করা যায়। এটাই ঠিক যা একটা loss function দেয়: একটা মাত্র সংখ্যা যা একটা প্রেডিকশন কতটা ভুল ছিল তা মাপে, মডেলের আউটপুটকে সত্যিকারের, সঠিক উত্তরের সাথে তুলনা করে হিসাব করা।

Loss function ছাড়া, এই প্রশ্নের উত্তর দেওয়ার কোনো উপায় নেই "এই দুই সেট weight-এর মধ্যে কোনটা ভালো?" একটা থাকলে, উত্তরটা কনক্রিট হয়ে যায়: দুইটার জন্যই loss হিসাব করুন, আর যেটার loss ছোট সেটাই জেতে। একটা নিউরাল নেটওয়ার্ক ট্রেন করা, এর মূলে, নিছক এমন weight আর bias খোঁজা ছাড়া আর কিছুই না যা সব ট্রেনিং উদাহরণ জুড়ে loss-কে যতটা সম্ভব ছোট করে।

Error পরিমাপ

Error মাপার সবচেয়ে সহজ সম্ভাব্য উপায় হলো নিছক বিয়োগ: প্রেডিক্ট করা মান বিয়োগ সত্যিকারের মান। $৩,১২,৪৫০ দামের একটা বাসার জন্য$৩,১০,০০০ প্রেডিকশন দিয়ে, error হলো $-২,৪৫০$ — মডেল $২,৪৫০ কম বলেছিল।

কিন্তু এভাবে raw error-এর একটা সমস্যা আছে: এটা পজিটিভ বা নেগেটিভ হতে পারে। একগুচ্ছ error একসাথে গড় করলে, সমান পরিমাণ বেশি-বলা আর কম-বলা মিলে শূন্যের কাছাকাছি কিছুতে বাতিল হয়ে যেতে পারে — এমনকি প্রতিটা ইন্ডিভিজুয়াল প্রেডিকশন খারাপভাবে ভুল হলেও। একটা মডেল যেটা অর্ধেক সময় $১০,০০০ বেশি বলে আর বাকি অর্ধেক সময়$১০,০০০ কম বলে, কাগজে-কলমে দেখতে লাগবে এর প্রায় কোনো গড় error-ই নেই, যদিও এটা আসলে কখনোই সঠিকের কাছাকাছি না।

Loss function এটা ঠিক করে raw error-কে এমন কিছুতে রূপান্তরিত করে যা সবসময় নন-নেগেটিভ, যাতে ভুল সবসময়ই ভুল হিসেবে গণ্য হয়, যেদিকেই হোক না কেন। এটা করার দুইটা সাধারণ উপায়: error-কে বর্গ করা (যা বড় error-কে অসমানুপাতিকভাবে বেশি গুরুত্ব দেয়ও), বা এর অ্যাবসোলিউট ভ্যালু নেওয়া (যা error-এর প্রতিটা ইউনিটকে একইভাবে দেখে, সাইজ যাই হোক না কেন)। কোন রূপান্তরটা ব্যবহার হবে সেটাই ঠিক করে দেয় এই চ্যাপ্টারের বাকি অংশে দেখানো বিভিন্ন loss function-এর পার্থক্য।

Regression Losses

Regression প্রবলেম একটা কন্টিনিউয়াস সংখ্যা প্রেডিক্ট করে — একটা দাম, একটা তাপমাত্রা, একটা সময়কাল — তাই এদের loss function মাপে প্রেডিক্ট করা সংখ্যাটা সত্যিকারের সংখ্যা থেকে কতটা দূরে আছে।

Mean Squared Error (MSE) সবচেয়ে সাধারণ regression loss। এটা গড় করার আগে প্রতিটা error-কে বর্গ করে:

$$\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

এখানে $y_i$ হলো উদাহরণ $i$-এর সত্যিকারের মান, $\hat{y}_i$ হলো সেই একই উদাহরণের জন্য মডেলের প্রেডিকশন, আর $n$ হলো মোট উদাহরণ সংখ্যা। বর্গ করা একসাথে দুইটা জিনিস করে: এটা প্রতিটা error-কে নন-নেগেটিভ বানায় (একটা নেগেটিভ error বর্গ করলে পজিটিভ হয়ে যায়), আর এটা বড় error-কে ছোট error-এর চেয়ে অনেক বেশি গুরুত্ব দেয় — একটা ১০-এর error ১০০ অবদান রাখে সামে, কিন্তু একটা ১০০-এর error ১০,০০০ অবদান রাখে, একশো গুণ বেশি।

Mean Absolute Error (MAE) বর্গ করার বদলে অ্যাবসোলিউট ভ্যালু নেয়:

$$\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$$

MAE error-এর প্রতিটা ইউনিটকে সমানভাবে দেখে — একটা ১০-এর error ঠিক ১০ অবদান রাখে, আর একটা ১০০-এর error ঠিক ১০০ অবদান রাখে, বেশি দূরে থাকার জন্য কোনো অতিরিক্ত শাস্তি ছাড়াই।

Classification Losses

Classification প্রবলেম একটা ক্যাটাগরি প্রেডিক্ট করে, আর বাস্তবে মডেলের raw আউটপুট সাধারণত একটা প্রোবাবিলিটি (sigmoid বা softmax অ্যাক্টিভেশন থেকে, যেমনটা Forward Propagation চ্যাপ্টারে দেখা হয়েছে), একটা সাধারণ সংখ্যা না — তাই classification loss বানানো হয় প্রেডিক্ট করা প্রোবাবিলিটিকে একটা সত্যিকারের ক্লাস লেবেলের সাথে তুলনা করার জন্য।

Binary Cross-Entropy (যাকে log loss-ও বলা হয়) হলো binary classification-এর স্ট্যান্ডার্ড loss, যেখানে সত্যিকারের লেবেল $y$ হয় $0$ নয়তো $1$, আর প্রেডিকশন $\hat{y}$ হলো $0$ আর $1$-এর মধ্যে একটা প্রোবাবিলিটি:

$$L = -\left[ y \log(\hat{y}) + (1 - y) \log(1 - \hat{y}) \right]$$

একটা নির্দিষ্ট উদাহরণের জন্য দুইটা টার্মের একটাই সক্রিয় থাকে, কারণ $y$ হয় $0$ নয়তো $1$। সত্যিকারের লেবেল যদি $1$ হয়, দ্বিতীয় টার্মটা অদৃশ্য হয়ে যায় ($1 - y = 0$) আর loss হয়ে যায় $-\log(\hat{y})$ — এটা ছোট থাকে যখন $\hat{y}$ $1$-এর কাছাকাছি (একটা কনফিডেন্ট, সঠিক প্রেডিকশন) আর অনেক বড় হয়ে যায় যখন $\hat{y}$ $0$-এর কাছাকাছি (একটা কনফিডেন্ট, ভুল প্রেডিকশন)। সত্যিকারের লেবেল $0$ হলেও একই লজিক সমমাত্রিকভাবে প্রযোজ্য।

Categorical Cross-Entropy এই একই আইডিয়া multi-class classification-এ প্রসারিত করে, যেখানে softmax প্রতিটা ক্লাসের জন্য একটা প্রোবাবিলিটি তৈরি করে:

$$L = -\sum_{c=1}^{C} y_c \log(\hat{y}_c)$$

এখানে $C$ হলো ক্লাস সংখ্যা, $y_c$ হলো $1$ সঠিক ক্লাসের জন্য আর $0$ বাকি প্রতিটা ক্লাসের জন্য, আর $\hat{y}_c$ হলো ক্লাস $c$-এর জন্য মডেলের প্রেডিক্ট করা প্রোবাবিলিটি। যেহেতু $y_c$ প্রতিটা ভুল ক্লাসের জন্য $0$, এই সামটা ভেঙে শুধু $-\log(\hat{y}_{\text{সঠিক ক্লাস}})$-এ পরিণত হয় — loss শুধু নির্ভর করে মডেল সঠিক উত্তরকে কতটা প্রোবাবিলিটি দিয়েছে তার উপর, আর সঠিক ক্লাসে কম কনফিডেন্সকে ঠিক binary cross-entropy-এর মতোই শাস্তি দেয়।

সঠিক Loss বেছে নেওয়া

একটা loss function বেছে নেওয়ার সবচেয়ে গুরুত্বপূর্ণ নিয়মটা হলো এটাকে কাজের সাথে মেলানো, ব্যক্তিগত পছন্দের সাথে না:

মৌলিক কাজের ধরনের বাইরেও, দ্বিতীয় গুরুত্বের ফ্যাক্টরও গুরুত্বপূর্ণ: outlier-কে কম গুরুত্ব দেওয়া উচিত কিনা (MSE-এর চেয়ে MAE পছন্দ করা), ক্লাসগুলো ইমব্যালেন্সড কিনা (কখনো কখনো cross-entropy-এর একটা ওয়েটেড ভার্সন দরকার হয়), আর প্রবলেমে ডোমেইন-নির্দিষ্ট খরচ আছে কিনা — উদাহরণস্বরূপ, মেডিকেল ডায়াগনসিসে, একটা মিস করা পজিটিভ কেস একটা ফলস অ্যালার্মের চেয়ে অনেক বেশি ব্যয়বহুল হতে পারে, যা একটা কাস্টম loss-কে যুক্তিসঙ্গত করে তোলে যা এক ধরনের ভুলকে আরেকটার চেয়ে বেশি শাস্তি দেয়।

বাস্তব-জগতের উদাহরণ

Loss function-কে আসল সিস্টেমের সাথে যুক্ত দেখলে বিমূর্ত সূত্রগুলো কনক্রিট হয়ে ওঠে।

এই প্রতিটা উদাহরণে, loss function-ই সেই একমাত্র রাশি যাকে ছোট করার চেষ্টা ট্রেনিং আসলেই করে — বাকি সবকিছু, মডেল শেষে যে সঠিক weight আর bias পায় সেসহ, শুধু সেই কনফিগারেশন যা ট্রেনিং ডেটা জুড়ে সেই সংখ্যাটাকে যতটা সম্ভব ছোট করে।

Summary