Optimizers for CNNs

ভূমিকা (Motivation)

ব্যাকপ্রোপাগেশন (চ্যাপ্টার ৮) একটি নেটওয়ার্ককে সুনির্দিষ্টভাবে বলে দেয় যে লস কমানোর জন্য প্রতিটি ওজনকে (weight) ঠিক কোন দিকে সরানো উচিত। কিন্তু এটি ওজনকে কতটুকু সরাতে হবে সে সম্পর্কে কিছুই বলে না। আবার একটি বাস্তব CNN-এর লস ল্যান্ডস্কেপ (loss landscape) কিন্তু সমতল নয়, এটি অত্যন্ত খাড়া, বহুমাত্রিক এবং খানাখন্দ, মালভূমি ও অসংখ্য নয়েজে ভরা একটি অসম তল। এই লস ল্যান্ডস্কেপ পাড়ি দেওয়ার কাজই হলো অপ্টিমাইজারের (optimizer) — যা প্রতিটি ধাপে গ্রেডিয়েন্টকে একটি বাস্তব ওয়েট আপডেটে রূপান্তর করে, যতক্ষণ না লস কমা বন্ধ হয়।

সরাসরি বা সাধারণ নিয়ম "লার্নিং রেট দিয়ে গুণ করে গ্রেডিয়েন্ট বিয়োগ করা" কাজ করে ঠিকই, কিন্তু এটি বেশ নাজুক: পদক্ষেপ সামান্য বড় হলে ট্রেনিং বিস্ফোরিত বা অস্থিতিশীল হয়ে যায়, আর পদক্ষেপ বেশি ছোট হলে ট্রেনিংয়ের গতি শামুকের মতো ধীর হয়ে যায়। এই চ্যাপ্টারের প্রতিটি অপ্টিমাইজারই মূলত এই লার্নিং রেট নামক বোতামটিকে আরও নমনীয় ও সহজ করার এক একটি চেষ্টা — যা পূর্ববর্তী গ্রেডিয়েন্ট মনে রেখে, প্রতিটি প্যারামিটারের পদক্ষেপের আকার আলাদাভাবে নিয়ন্ত্রণ করে অথবা উভয় পদ্ধতি একসাথে ব্যবহার করে কাজ করে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

কুয়াশাচ্ছন্ন পাহাড়ি পথ বেয়ে একটি উপত্যকার সবচেয়ে নিচু পয়েন্টে পৌঁছানোর চেষ্টা করছেন এমন একজন হাইকারের কথা কল্পনা করুন, যিনি শুধু নিজের পায়ের নিচের ঢালটুকু অনুভব করতে পারছেন। সাধারণ গ্রেডিয়েন্ট ডিসেন্ট হলো প্রতি মুহূর্তে ঠিক যে দিকে খাড়া ঢাল, সে দিকে একটি নির্দিষ্ট দৈর্ঘ্যের কদম ফেলা — এটি যৌক্তিক, তবে এটি সংকীর্ণ গিরিখাতগুলোতে খুব এলোমেলোভাবে আঁকাবাঁকা হয়ে চলে এবং সমতল জায়গায় এসে থমকে যায়। কিন্তু মোমেন্টাম বা গতিবেগ সম্পন্ন একজন হাইকার মনে রাখেন যে তিনি সামগ্রিকভাবে কোন দিকে হাঁটছিলেন, এবং সমতল বা সামান্য আঁকাবাঁকা জায়গায় এসেও সেই গতিবেগের কিছু অংশ কাজে লাগান, যা আঁকাবাঁকা পথকে মসৃণ করে। আবার Adam-এর মতো অ্যাডাপ্টিভ পদ্ধতি ব্যবহারকারী হাইকার আরও বুদ্ধিমান কাজ করেন: তিনি লক্ষ্য করেন কোন দিকগুলো অনবরত খাড়া ছিল এবং সেগুলোতে একটু ছোট ও সতর্ক পদক্ষেপ নেন, আর যে দিকগুলো মৃদু ও হালকা ছিল সেগুলোতে একটু বড় পদক্ষেপ নেন। এই চ্যাপ্টারের প্রতিটি অপ্টিমাইজারই মূলত কুয়াশাচ্ছন্ন পাহাড়ের নিচে নামার এক একটি ভিন্ন কৌশল।

মূল ধারণা তৈরি করা (Building the Intuition)

• এই সমস্ত পদ্ধতিই কিন্তু একই মূল সমীকরণ থেকে শুরু হয় — ওজনকে গ্রেডিয়েন্টের বিপরীত দিকে সরানো — এবং এদের একমাত্র পার্থক্য হলো তারা পূর্বের কতটুকু ইতিহাস মনে রাখে এবং প্রতিটি প্যারামিটারের জন্য পদক্ষেপের আকার পরিবর্তিত হয় কিনা।
• প্রতি গ্রেডিয়েন্ট অনুমানে বেশি ডেটা (একটি সম্পূর্ণ ব্যাচ) অত্যন্ত সঠিক দিকনির্দেশনা দেয় কিন্তু ধীরগতির; আর কম ডেটা (একটি মাত্র উদাহরণ) খুব দ্রুত কাজ করে কিন্তু এলোমেলো বা নয়েজে ভরা থাকে। মিনি-ব্যাচ (mini-batch) হলো বাস্তবসম্মত মাঝামাঝি সমাধান যা প্রায় সবাই ব্যবহার করে।
• Momentum চলার দিককে মসৃণ করে; আর RMSProp ও Adam-এর মতো অ্যাডাপ্টিভ পদ্ধতিগুলো প্রতি প্যারামিটারের পদক্ষেপের আকারকে মানানসই করে। Adam একই সাথে দুটি কাজই করে।

পেছনের মূল গণিত (The Math Behind It)

(Batch) Gradient Descent

Stochastic Gradient Descent (SGD)

Mini-batch Gradient Descent

SGD with Momentum

RMSProp

Adam (Adaptive Moment Estimation)

তুলনা টেবিল (Comparison Table)

বাস্তব উদাহরণ: নিজে হাতে একটি Adam আপডেট করা

ধরুন, $t=1$ ধাপে কোনো একটি ওজনের গ্রেডিয়েন্ট $\nabla_w L = 0.4$, যেখানে শুরুতে $m_0 = 0$, $v_0 = 0$ এবং সাধারণ ডিফল্ট মানগুলো হলো $\beta_1=0.9$, $\beta_2=0.999$, $\eta=0.001$, $\epsilon=10^{-8}$।

প্রথম মোমেন্ট: $m_1 = 0.9(0) + 0.1(0.4) = 0.04$। দ্বিতীয় মোমেন্ট: $v_1 = 0.999(0) + 0.001(0.4)^2 = 0.00016$।

বায়াস কারেকশন: $\hat{m}_1 = 0.04 / (1 - 0.9^1) = 0.04/0.1 = 0.4$, এবং $\hat{v}_1 = 0.00016/(1-0.999^1) = 0.00016/0.001 = 0.16$।

লক্ষ্য করুন কীভাবে বায়াস কারেকশন $m_0$ ও $v_0$-র শূন্য থেকে শুরু হওয়ার ত্রুটি দূর করে দিল — সংশোধনের পর $\hat{m}_1$ সরাসরি raw গ্রেডিয়েন্টের সমান হয়ে গেল, যা একদম প্রথম পদক্ষেপের জন্য চমৎকার ও কাঙ্ক্ষিত।

আপডেট: $w \leftarrow w - \dfrac{0.001}{\sqrt{0.16}+10^{-8}}(0.4) \approx w - 0.001 \times 1.0 = w - 0.001$। গ্রেডিয়েন্টের বিপরীত দিকে একটি চমৎকার সুশৃঙ্খল পদক্ষেপ।

কোড ইমপ্লিমেন্টেশন (Implementing It)

import numpy as np
 
class AdamOptimizer:
    def __init__(self, params_shape, lr=0.001, beta1=0.9, beta2=0.999, eps=1e-8):
        self.lr, self.beta1, self.beta2, self.eps = lr, beta1, beta2, eps
        self.m = np.zeros(params_shape)
        self.v = np.zeros(params_shape)
        self.t = 0
 
    def step(self, w, grad):
        self.t += 1
        self.m = self.beta1 * self.m + (1 - self.beta1) * grad
        self.v = self.beta2 * self.v + (1 - self.beta2) * (grad ** 2)
 
        m_hat = self.m / (1 - self.beta1 ** self.t)
        v_hat = self.v / (1 - self.beta2 ** self.t)
 
        w -= self.lr * m_hat / (np.sqrt(v_hat) + self.eps)
        return w
 
# Convergence যাচাই করার জন্য L(w) = (w - 3)^2 কোয়াড্রাটিক লস মিনিমাইজ করা
w = np.array([0.0])
optimizer = AdamOptimizer(params_shape=w.shape, lr=0.1)
 
for step in range(50):
    grad = 2 * (w - 3.0)          # dL/dw for L = (w - 3)^2
    w = optimizer.step(w, grad)
 
print(f"চূড়ান্ত w (যা ৩.০ এর কাছাকাছি হওয়া উচিত): {w}")

কোডটির কয়েকটি বিশেষ দিক লক্ষ্য করুন:

• বায়াস কারেকশন করার আগে self.t এর মান ১ বাড়ানো হয়েছে — যাতে প্রথম পদক্ষেপ থেকেই $t=1$ হিসেবে শূন্য দিয়ে ভাগ হওয়া এড়ানো যায়।
• m এবং v এর মান প্রতিটি step কলের পরেও বজায় থাকে, যা PyTorch বা TensorFlow অপ্টিমাইজারের মতোই রানিং গড়গুলো ধরে রাখার জন্য চমৎকার কাজ করে।
• কোয়াড্রাটিক লসের খেলনা উদাহরণটি যেকোনো অপ্টিমাইজার যাচাই করার আদর্শ পথ: যদি w ৩.০ এর দিকে ধাবিত না হয়, তবে বুঝতে হবে কোডে গন্ডগোল আছে।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

Interview Corner

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

যেকোনো ডিপ লার্নিং লাইব্রেরি এই ছয়টি অপ্টিমাইজারই ডিফল্টভাবে অফার করে, এবং প্রজেক্ট কনফিগার করার সময় এটিই একদম প্রথম হাইপারপ্যারামিটারগুলোর একটি। প্রজেক্টের শুরুতে খুব দ্রুত একটি কাজ সম্পন্ন করার জন্য Adam বেছে নেওয়া হয়, এবং পরবর্তীতে চূড়ান্ত ফলাফলের কোয়ালিটি বাড়াতে SGD + Momentum এবং লার্নিং রেট শিডিউলিং দিয়ে ট্রাই করা হয়, যা উপরেও উল্লেখ করা হয়েছে।