Regularization

ভূমিকা (Motivation)

একটি সাধারণ বা সীমিত ডেটাসেটের ওপর কোনো CNN-কে দীর্ঘ সময় ধরে ট্রেইন করুন, একটি অদ্ভুত বিষয় লক্ষ্য করবেন: ট্রেনিং অ্যাকুরেসি বাড়তে বাড়তে ৯৯.৯% এ উঠে যাবে, কিন্তু ভ্যালিডেশন অ্যাকুরেসি একটা জায়গায় এসে থমকে যাবে এবং এক পর্যায়ে নীরবে কমতে শুরু করবে। নেটওয়ার্কটি আসলে ছবিতে বিড়াল চিনতে শেখেনি — এটি শিখেছে আপনার ট্রেনিং ফোল্ডারে থাকা হুবহু ৪,০০০টি নির্দিষ্ট বিড়ালের ছবি চিনতে, যার মধ্যে তাদের ইমেজের কম্প্রেশন আর্টিফ্যাক্ট (compression artifacts) এবং আলোর বৈচিত্র্যও রয়েছে। একে যখন এমন কোনো বিড়ালের ছবি দেখানো হবে যা এটি মুখস্থ করেনি, মডেলটি সাথে সাথে থমকে যাবে।

এটিই হলো ওভারফিটিং (overfitting), এবং এটি লক্ষ লক্ষ প্যারামিটার ও সীমিত ডেটাসেট বিশিষ্ট যেকোনো মডেলের ডিফল্ট ব্যর্থতার রূপ। রেগুলারাইজেশন (Regularization) হলো এমন কিছু কৌশলের সমষ্টি যা এই ওভারফিটিংয়ের বিরুদ্ধে লড়াই করে — মডেলকে আরও বুদ্ধিমান বানিয়ে নয়, তবে ট্রেনিংয়ের পথকে ইচ্ছে করে আরও কঠিন করার মাধ্যমে, যা মুখস্থ করার প্রবণতাকে নিরূৎসাহিত করে এবং বাস্তব জেনারেলাইজ বা সাধারণ প্যাটার্ন সনাক্ত করতে মডেলকে বাধ্য করে।

মূল ধারণা তৈরি করা (Building the Intuition)

ভাবুন তো, একজন ছাত্র বিগত বছরের পরীক্ষার প্রশ্ন ও তার উত্তর হুবহু মুখস্থ করে পরীক্ষা দিতে গেল, বনাম আরেকজন ছাত্র যে বিষয়ের মূল ধারণা বা কনসেপ্টগুলো ভালোভাবে পড়ে গেল। মুখস্থ করা প্রশ্নের মতো হুবহু কোনো প্রশ্ন প্র্যাকটিস টেস্টে আসলে দুজনেই হয়তো ভালো স্কোর করবে। কিন্তু শুধুমাত্র দ্বিতীয় ছাত্রটিই আসল পরীক্ষায় ভালো করবে, যেখানে সামান্য ঘুরিয়ে নতুন প্রশ্ন জিজ্ঞেস করা হবে।

এই চ্যাপ্টারের প্রতিটি রেগুলারাইজেশন কৌশলই মূলত ছাত্রটির "উত্তর মুখস্থ করার" ফাঁকিবাজি বন্ধ করার একেকটি বাস্তব উপায়:

• Dropout নেটওয়ার্কটিকে প্রতিবার র্যান্ডমলি কিছু নিউরন বাদ দিয়ে অসম্পূর্ণ নেটওয়ার্ক নিয়ে কাজ করতে বাধ্য করে, যাতে এটি কোনো একটি নির্দিষ্ট মুখস্থ শর্টকাটের ওপর নির্ভর করতে না পারে।
• L2 regularization অতিরিক্ত বড় ওজনের (weights) ওপর জরিমানা বা পেনাল্টি দেয়, যা গাণিতিকভাবে দেখতে অনেকটা মুখস্থ করার চেহারার মতোই — যেখানে কিছু নিউরন খুব নির্দিষ্ট পিক্সেল প্যাটার্নে সাড়া দেওয়ার জন্য ওজনের অস্বাভাবিক বড় মান ধারণ করে।
• Batch normalization প্রতি লেয়ারের ইনপুটের বিন্যাসকে স্থিতিশীল করে, যা পরোক্ষভাবে নেটওয়ার্কটিকে প্রতিটি ট্রেনিং ব্যাচের সুনির্দিষ্ট পরিসংখ্যানের ওপর বেশি অস্থির হওয়া থেকে বিরত রাখে।
• Data augmentation ট্রেনিংয়ের সময় নেটওয়ার্ককে কখনো একই ছবি দুবার না দেখিয়ে মুখস্থ করার পথটি চিরতরে বন্ধ করে দেয়।
• Early stopping ঠিক সেই মুহূর্তটি সনাক্ত করে যখন মডেলের জেনারেলাইজেশনের চেয়ে মুখস্থ করার প্রবণতা জয়ী হতে শুরু করে, এবং ঠিক তখনই ট্রেনিং বন্ধ করে দেয়।

বিভিন্ন রেগুলারাইজেশন কৌশল (The Techniques)

Dropout

$$a_i^{drop} = m_i \cdot a_i, \qquad m_i \sim \text{Bernoulli}(1-p)$$

যেখানে: $a_i$ হলো $i$-তম নিউরনের অ্যাক্টিভেশন, $m_i$ হলো একটি র্যান্ডম বাইনারি মাস্ক ভ্যালু (০ বা ১) যা প্রতি ট্রেনিং ধাপে প্রতিটি নিউরনের জন্য স্বাধীনভাবে বেছে নেওয়া হয়, এবং $p$ হলো ড্রপআউট রেট — যা নির্দেশ করে একটি নির্দিষ্ট নিউরন এই ধাপে শূন্য হওয়ার সম্ভাবনা কতটুকু।

সহজ কথা: প্রতিটি ট্রেনিং ইটারেশনে নিউরনের একটি রানিং র্যান্ডম অংশকে নেটওয়ার্ক থেকে সাময়িকভাবে মুছে ফেলা বা গায়েব করে দেওয়া হয়। বাকি থাকা নিউরনগুলো তাদের কোনো নির্দিষ্ট প্রতিবেশী নিউরনের উপস্থিতির ওপর ভরসা করতে পারে না, ফলে তারা নিজে থেকেই দরকারী ফিচার তৈরি করতে বাধ্য হয়, শুধু নির্দিষ্ট পার্টনার নিউরনের ওপর নির্ভরশীল না থেকে। এটি নিউরনের মধ্যকার পারস্পরিক আঁতাত বা "co-adapted" গ্রুপ তৈরি হওয়া রুখে দেয় যা অন্যথায় ট্রেনিংয়ের খুঁটিনাটি মুখস্থ করার চেষ্টা করত। টেস্ট বা ইনফ্যারেন্সের সময় ড্রপআউট বন্ধ করে দেওয়া হয় — তখন সব নিউরন একসাথে অংশগ্রহণ করে, এবং ট্রেনিংয়ের সময় নেটওয়ার্কটি যে পাতলা বা থিনড-আউট (thinned-out) অবস্থায় কাজ করেছিল তা ব্যালেন্স করতে আউটপুটকে রিস্কেল করা হয়।

L2 Regularization (Weight Decay)

$$L_{reg} = L_{original} + \lambda \sum_{w} w^2$$

যেখানে: $L_{original}$ হলো সাধারণ লস (যেমন ক্রস-এন্ট্রপি), সমেশনের যোগফলটি নেটওয়ার্কের প্রতিটি ওয়েট $w$ এর ওপর রান করে, এবং $\lambda$ হলো একটি হাইপারপ্যারামিটার যা ওজন কত কঠোরভাবে পেনাল্টি পাবে তা নিয়ন্ত্রণ করে।

সহজ কথা: এখন Gradient descent-এর সামনে দুটি পরস্পরবিরোধী লক্ষ্য থাকে: ডেটার সাথে মিলিয়ে ফিট করা, এবং ওজনকে ছোট রাখা। অত্যন্ত বড় ওজন বিশিষ্ট একটি নেটওয়ার্ক এমন তীক্ষ্ণ ও আঁকাবাঁকা ডিসিশন বাউন্ডারি তৈরি করতে পারে যা ট্রেনিং নয়েজের সাথে নিখুঁতভাবে মিলে যায় — L2 এই কাজটিকে ব্যয়বহুল করে তোলে, ফলে অপ্টিমাইজারকে এমন মসৃণ বাউন্ডারির দিকে ঠেলে দেয় যা সাধারণত ভালো জেনারেলাইজ করে। তবে $\lambda$ এর মান খুব বেশি বাড়িয়ে দিলে নেটওয়ার্ক এত সীমাবদ্ধ হয়ে পড়ে যে এটি বাস্তব সিগন্যালও ঠিকভাবে ফিট করতে পারে না।

Batch Normalization

$$\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}, \qquad y = \gamma\hat{x} + \beta$$

যেখানে: $\mu_B$ এবং $\sigma_B^2$ হলো বর্তমান mini-batch-এর অ্যাক্টিভেশনগুলোর গড় ও ভ্যারিয়েন্স, $\epsilon$ হলো শূন্য দিয়ে ভাগ হওয়া আটকানোর একটি অতি ক্ষুদ্র ধ্রুবক, এবং $\gamma, \beta$ হলো প্রতিটি চ্যানেলের জন্য লার্নেবল স্কেল ও শিফট প্যারামিটার।

সহজ কথা: নরমালাইজেশন ছাড়া, প্রতিটি লেয়ারে প্রবাহিত অ্যাক্টিভেশনের ডিস্ট্রিবিউশন ট্রেনিংয়ের সময় আগের লেয়ারগুলোর ওজন আপডেট হওয়ার সাথে সাথে ক্রমাগত বদলাতে থাকে — এই চলমান লক্ষ্যবস্তু অপ্টিমাইজেশনকে অস্থির করে তোলে (একে বলা হয় "internal covariate shift")। Batch norm প্রতিটি ফরওয়ার্ড পাসেই অ্যাক্টিভেশনকে একটি স্থিতিশীল ডিস্ট্রিবিউশনে পুনরায় কেন্দ্রীভূত ও স্কেল করে, যার ফলে আপনি বেশি লার্নিং রেট দিয়ে ট্রেন করতে পারেন এবং দ্রুত কনভার্জ করতে পারেন। $\gamma$ এবং $\beta$ থাকার কারণ হলো, যদি কোনো নির্দিষ্ট চ্যানেলের কাঁচা, অ-নরমালাইজড সিগন্যালই আসলে বেশি উপযোগী হয়, তবে নেটওয়ার্ক সেই নরমালাইজেশনকে বাতিল করে দিতে পারে। রেগুলারাইজিং প্রভাবটি একটি বাড়তি সুবিধা মাত্র: যেহেতু $\mu_B$ এবং $\sigma_B^2$ নির্ভর করে ঠিক কোন র্যান্ডম মিনি-ব্যাচটি নমুনা হিসেবে বাছাই হলো তার ওপর, তাই প্রতিটি লেয়ারের ইনপুটে ব্যাচ থেকে ব্যাচে সামান্য নয়েজ মিশে থাকে, যা — অনেকটা dropout-এর মতোই — কোনো একটি নির্দিষ্ট ব্যাচের সঠিক পরিসংখ্যানের ওপর ওভারফিট হওয়া থেকে নেটওয়ার্ককে বিরত রাখে।

Data Augmentation

মডেলের ওপর পরিবর্তন না করে, augmentation সরাসরি কাজ করে ডেটা বা ছবির ওপর: ট্রেনিংয়ের সময় যখনই কোনো ছবি লোড করা হয়, নেটওয়ার্কের কাছে পাঠানোর আগে সেটিকে র্যান্ডমলি ফ্লিপ, রোটেট, ক্রপ বা কালার-জিটার করা হয়। নেটওয়ার্কটি গাণিতিক অর্থে কখনো একই ছবি দুবার দেখে না, যা pixel-perfect মুখস্থ করা অসম্ভব করে তোলে — এটি এমন সব ফিচার শিখতে বাধ্য হয় যা ছবির বাস্তব পরিবর্তনের সাথে সাথেও (যেমন সামান্য বাঁকানো একটি বিড়ালও একটি বিড়ালই থাকে) অপরিবর্তিত থাকে।

Early Stopping

এক নজরে রেগুলারাইজেশন কৌশলসমূহ (Regularization Techniques at a Glance)

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

Interview Corner

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

কার্যত প্রতিটি প্রোডাকশন CNN-ই একসাথে এই কৌশলগুলোর বেশ কয়েকটি ব্যবহার করে: বেশিরভাগ কনভোলিউশনাল লেয়ারের পরে batch norm, চূড়ান্ত ক্লাসিফায়ার লেয়ারের আগে dropout, অপ্টিমাইজারের মধ্যে গেঁথে দেওয়া L2 weight decay, আক্রমণাত্মক data augmentation পাইপলাইন, এবং early stopping-এর জন্য নিবিড়ভাবে পর্যবেক্ষণ করা একটি ভ্যালিডেশন সেট। এদের একটিও একা কোনো জাদুকরী সমাধান নয় — training-pipeline অধ্যায়ে আরও বিস্তারিত আলোচিত আসল দক্ষতাটি হলো, একটি নির্দিষ্ট ডেটাসেটের আকার ও মডেল ক্ষমতার জন্য এই প্রতিটি কৌশল কতটুকু পরিমাণে দরকার তা সঠিকভাবে টিউন করা।