Backpropagation in CNNs

ভূমিকা (Motivation)

এখন পর্যন্ত আমরা CNN-এর যে সমস্ত চ্যাপ্টার নিয়ে আলোচনা করেছি তার প্রতিটিই ছিল ফরওয়ার্ড পাস (forward pass) নিয়ে — কীভাবে একটি ছবি ফিচার ম্যাপে পরিণত হয়, কীভাবে ফিচার ম্যাপ ফ্ল্যাট ভেক্টরে পরিণত হয়, এবং সেই ভেক্টর কীভাবে প্রেডিকশনে পরিণত হয়। কিন্তু যে নেটওয়ার্কটি কেবল সামনের দিকেই তাকাতে পারে, সে কখনো নিজে নিজে কোনো কিছু শিখতে পারে না। তার নিজের ভুলগুলো পেছনের দিকে ফিরে দেখা এবং তার কোটি কোটি ওয়েটের মধ্যে সুনির্দিষ্টভাবে ঠিক কোনটির দোষ ছিল তা খুঁজে বের করার একটি মেকানিজম বা উপায় প্রয়োজন।

পেছনের দিকে ফিরে তাকানোর সেই প্রক্রিয়াই হলো ব্যাকপ্রোপাগেশন (backpropagation)। একটি সাধারণ ফিডফরওয়ার্ড নেটওয়ার্কে চেইন রুল (chain rule) ডেন্স লেয়ারের মধ্য দিয়ে পেছনের দিকে ধাবিত হয় এবং এটাই তার মূল কাজ। কিন্তু একটি CNN-এ, চেইন রুলকে এমন সব অপারেশনের মধ্য দিয়ে পেছনের দিকে যেতে হয় যা সাধারণ ম্যাট্রিক্স গুণের সাথে মোটেও মেলে না — যেমন max pooling, যা উদ্দেশ্যপ্রণোদিতভাবে তথ্যকে ফেলে দেয়, এবং convolution, যা প্রতিটি স্থানিক অবস্থানে একই ছোট কার্নেলকে বারবার ব্যবহার করে। ঠিক এই দুটি অপারেশনের মধ্য দিয়ে কীভাবে গ্রেডিয়েন্টকে সঠিকভাবে প্রবাহিত করা যায়, তা নিয়ে আমাদের এই চ্যাপ্টারের মূল আলোচনা।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

কল্পনা করুন একটি বড় রান্নাঘরের কথা যেখানে একটি তরকারি একটু বেশি নোনতা হয়ে টেবিল থেকে ফেরত এসেছে। হেড শেফ নিজে কিন্তু তরকারিতে লবণ দেননি — তিন ধাপ আগের এক লাইনের বাবুর্চি লবণ দিয়েছিলেন, একজন সু-শেফের এক সপ্তাহ আগে লিখে রাখা রেসিপি কার্ড দেখে। এই সমস্যাটি স্থায়ীভাবে সমাধান করার জন্য হেড শেফকে ওই তরকারিটি যে যে হাত ঘুরে তৈরি হয়েছে তার প্রতিটিধাপ পেছনের দিকে ট্রেস বা অনুসরণ করতে হবে: "প্লেটিং বা সাজানো ঠিক ছিল, সস ঠিক ছিল, কিন্তু সল্টিং স্টেশনে লবণ বেশি হয়ে গেছে — আর ওই রেসিপি কার্ডটিই তো ওই স্টেশনের মধ্য দিয়ে যাওয়া প্রতিটা তরকারির জন্য ব্যবহৃত হয়!"

ব্যাকপ্রোপাগেশন হলো ঠিক এই ঘটনার একটি গাণিতিক রূপ। "বেশি নোনতা" বা ভুল সিগন্যালটিই হলো আমাদের লস (loss)। প্রতিটি স্টেশন — ডেন্স লেয়ার, পুলিং লেয়ার, অ্যাক্টিভেশন, কনভোলিউশন — উল্টো ক্রমানুসারে ভিজিট করা হয় এবং প্রতিটিতে আমরা জিজ্ঞেস করি: আউটপুট যেহেতু এতটা ভুল ছিল, তবে এই স্টেশনের অবদান ঠিক কতটা ভুল ছিল এবং এর কী করা উচিত ছিল? কনভোলিউশন কার্নেল হলো সেই রেসিপি কার্ড — যা সব জায়গায় বারবার ব্যবহৃত হয়েছে, তাই এর সংশোধনের সময়ও যেখানে যেখানে এটি ব্যবহৃত হয়েছিল তার সবগুলোর অবদান হিসেবে রাখতে হবে।

মূল ধারণা তৈরি করা (Building the Intuition)

কোনো ডেরিভেটিভ বা ব্যবকলন লেখার আগে তিনটি প্রধান সত্য মাথায় গেঁথে নিন:

• ট্রেনিং হলো চারটি ধাপের একটি লুপ: ফরওয়ার্ড পাস (প্রেডিকশন এবং লস ক্যালকুলেট করা), ব্যাকওয়ার্ড পাস (প্রতিটি ওয়েটের সাপেক্ষে লসের পরিবর্তন কেমন তা ক্যালকুলেট করা), আপডেট (প্রতিটি ওয়েটকে গ্রেডিয়েন্টের বিপরীতে সামান্য ধাক্কা দেওয়া), এবং লস কমা বন্ধ না হওয়া পর্যন্ত এর পুনরাবৃত্তি।
• ব্যাকওয়ার্ড পাস চেইন রুল ছাড়া আর কিছুই নয়, যা লস থেকে শুরু করে ইনপুটের দিকে লেয়ার বাই লেয়ার পেছনের দিকে কাজ করে। প্রতিটি লেয়ারের শুধু দুটি জিনিস জানা প্রয়োজন: তার পরের লেয়ার থেকে আসা গ্রেডিয়েন্ট, এবং তার নিজের লোকাল ডেরিভেটিভ।
• সব লেয়ারের কিন্তু আপডেট করার মতো ওয়েট বা ওজন থাকে না। পুলিং এবং Flatten লেয়ারের কোনো ওয়েট নেই — এই লেয়ারগুলোর জন্য "ব্যাকপ্রোপাগেশন" মানে স্রেফ ইনকামিং গ্রেডিয়েন্টকে সঠিক জায়গায় রি-রাউট বা পাঠিয়ে দেওয়া, কোনো ওয়েট আপডেট করা নয়।

পেছনের মূল গণিত (The Math Behind It)

আউটপুট লেয়ারের এরর (Error at the Output Layer)

নেটওয়ার্কটি যখন সফটম্যাক্সের (Softmax) পর ক্রস-এন্ট্রপি লস (Cross-Entropy loss) দিয়ে শেষ হয় — যা ক্লাসিফিকেশনের জন্য ডিফল্ট জোড়া — তখন আউটপুট লজিটের সাপেক্ষে গ্রেডিয়েন্ট হিসাবের রূপটি অত্যন্ত সহজ ও চমৎকার হয়।

Fully Connected লেয়ারের গ্রেডিয়েন্ট (Gradient Through a Fully Connected Layer)

একবার $\delta$ কোনো ডেন্স লেয়ারে (যা $z = Wv + b$ হিসাব করে) এসে পৌঁছালে, একই চেইন রুল থেকে তিনটি গ্রেডিয়েন্ট বের হয়ে আসে:

পুলিং লেয়ারের ভেতর দিয়ে গ্রেডিয়েন্ট (Gradient Through Pooling)

পুলিং লেয়ারের কোনো ওয়েট বা ওজন থাকে না, তাই এখানে আপডেট করার মতো কিছু নেই — তবে এর নিচের কনভোলিউশন লেয়ারে গ্রেডিয়েন্ট পৌঁছানোর জন্য একে সঠিক নিয়মে পুলিং লেয়ারের ভেতর দিয়ে পার হতে হবে।

কনভোলিউশন লেয়ারের ভেতর দিয়ে গ্রেডিয়েন্ট (Gradient Through Convolution)

এই ধাপটিই মূলত CNN-এর ব্যাকপ্রোপাগেশনকে সাধারণ MLP থেকে সম্পূর্ণ আলাদা করে তোলে। আমাদের ফরওয়ার্ড কনভোলিউশন মনে করুন: $Z(i,j) = \sum_{m,n} X(i+m, j+n)\,K(m,n)$। ইনকামিং গ্রেডিয়েন্ট $\delta = \partial L/\partial Z$ দেওয়া থাকলে তিনটি মান প্রয়োজন:

ওয়েট আপডেট ধাপ (Weight Update Step)

প্রতিটি গ্রেডিয়েন্ট ক্যালকুলেট করার পর, আসল ওজনের সংশোধন (plain-SGD পদ্ধতিতে) আর কিছুই নয়, গ্রেডিয়েন্টের বিপরীত দিকে সামান্য নেমে যাওয়া:

বাস্তব উদাহরণ: আরগম্যাক্স বা argmax রুট ট্রেস করা

ধরুন, ফরওয়ার্ড পাসের সময় একটি $2\times2$ max-pooling উইন্ডোর ভেতরের মানগুলো ছিল $\begin{bmatrix}1 & 3\\ 5 & 2\end{bmatrix}$। এখানে সর্বোচ্চ মান ৫, যা অবস্থান করছে $(1,0)$ পজিশনে (দ্বিতীয় সারি, প্রথম কলাম)। তাই $P = 5$ সামনে চলে যায় এবং পুলিং লেয়ার মনে রাখে যে $(1,0)$ পজিশনটি জিতেছিল।

এখন ধরুন, ব্যাকপ্রোপাগেশনের সময় এই পুলিং লেয়ারের কাছে ইনকামিং গ্রেডিয়েন্ট হিসেবে $\partial L/\partial P = 0.8$ এসে পৌঁছাল। Max-pooling-এর ব্যাকওয়ার্ড নিয়ম অনুযায়ী:

• $\partial L/\partial A(1,0) = 0.8$ — যে নোডটি জিতেছিল, সে পুরো গ্রেডিয়েন্টটি পাবে।
• $\partial L/\partial A(0,0) = \partial L/\partial A(0,1) = \partial L/\partial A(1,1) = 0$ — অন্য সবাই শূন্য পাবে, কারণ তাদের মান সামান্য পরিবর্তন করলেও (যতক্ষণ না তা ৫-এর ওপরে যায়) তা আউটপুট $P$-তে কোনো প্রভাব ফেলত না।

এর সাথে যদি average pooling-এর তুলনা করি: তবে এই একই $0.8$ গ্রেডিয়েন্ট ৪টি নোডের মধ্যে সমানভাবে ভাগ হয়ে প্রতিটিতে $0.2$ করে বসত, তাদের ফরওয়ার্ড পাসের মান যাই হোক না কেন। এই পার্থক্যটি — "সব গ্রেডিয়েন্ট একজন পায়" বনাম "সবাই সমানভাবে ভাগ করে নেয়" — পুলিংয়ের ব্যাকওয়ার্ড পাসের অত্যন্ত বহুল জিজ্ঞাসিত একটি প্রশ্ন।

কোড ইমপ্লিমেন্টেশন (Implementing It)

import numpy as np
 
def maxpool_backward(dP, A, pool_size=2, stride=2):
    """
    dP: pooled আউটপুটের সাপেক্ষে গ্রেডিয়েন্ট, shape (H_out, W_out)
    A:  মূল প্রি-পুলিং অ্যাক্টিভেশন ম্যাপ, shape (H, W)
    dA ফেরত দেয়: A-র সাপেক্ষে গ্রেডিয়েন্ট, A-র সমান shape
    """
    H, W = A.shape
    dA = np.zeros_like(A)
    for i in range(dP.shape[0]):
        for j in range(dP.shape[1]):
            r0, c0 = i * stride, j * stride
            window = A[r0:r0 + pool_size, c0:c0 + pool_size]
            # উইন্ডোর ভেতরে আরগম্যাক্স পজিশন খুঁজে বের করা
            local_r, local_c = np.unravel_index(np.argmax(window), window.shape)
            dA[r0 + local_r, c0 + local_c] += dP[i, j]
    return dA
 
def conv_backward(dZ, X, K):
    """
    dZ: conv আউটপুটের সাপেক্ষে গ্রেডিয়েন্ট, shape (H_out, W_out)
    X:  conv লেয়ারের ইনপুট, shape (H, W)
    K:  কার্নেল, shape (Fh, Fw)
    dK, db, dX ফেরত দেয়
    """
    Fh, Fw = K.shape
    dK = np.zeros_like(K)
    for m in range(Fh):
        for n in range(Fw):
            region = X[m:m + dZ.shape[0], n:n + dZ.shape[1]]
            dK[m, n] = np.sum(dZ * region)
 
    db = np.sum(dZ)
 
    # ইনপুটের সাপেক্ষে গ্রেডিয়েন্ট: ১৮০° ঘোরানো কার্নেলের সাথে dZ-এর full convolution
    K_flipped = np.flip(K)
    dX = np.zeros_like(X)
    padded_dZ = np.pad(dZ, ((Fh - 1, Fh - 1), (Fw - 1, Fw - 1)))
    for i in range(dX.shape[0]):
        for j in range(dX.shape[1]):
            region = padded_dZ[i:i + Fh, j:j + Fw]
            dX[i, j] = np.sum(region * K_flipped)
 
    return dK, db, dX

কয়েকটি জিনিস খেয়াল রাখা দরকার:

• maxpool_backward কোডের সুবিধার জন্য উইনিং পজিশন রান-টাইমে হিসাব করছে, তবে বাস্তব বা প্রোডাকশন ফ্রেমওয়ার্কগুলোতে ফরওয়ার্ড পাসের সময় জিতেছিল এমন নোড ইনডেক্স সরাসরি ক্যাশে রেখে দেওয়া হয় — রান-টাইমে আবার হিসাব করতে গেলে টাই (tie) বা টাই হওয়ার ক্ষেত্রে গড়মিল হতে পারে এবং কম্পিউটেশনাল সময় নষ্ট হয়।
• conv_backward ওপরে আলোচনা করা সমীকরণগুলোকেই হুবহু রান করে: dK হলো ইনপুটের সাথে এরর ম্যাপের ক্রস-কোরিলেশন, এবং dX হলো ঘোরানো বা ফ্লিপ করা কার্নেলের সাথে এরর ম্যাপের ফুল কনভোলিউশন।
• এই ফাংশনগুলোর কোনোটিই ওয়েট আপডেট করে না। ব্যাকপ্রোপাগেশন শুধু গ্রেডিয়েন্ট হিসাব করে — ওজনের আসল পরিবর্তন K -= lr * dK অপ্টিমাইজারের কাজ, যা আমরা চ্যাপ্টার ১২-তে শিখব।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

Interview Corner

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

যেকোনো বাস্তব বা প্রোডাকশন মেশিন লার্নিং সিস্টেমের দিকে ভালো করে তাকান — কোনো ব্যাংকের ফ্রড সনাক্তকরণ পাইপলাইন, হাসপাতালের ঝুঁকি পরিমাপের ড্যাশবোর্ড, কোনো রেকমেন্ডেশন ইঞ্জিন, অথবা আপনি এই মুহূর্তে যে ল্যাঙ্গুয়েজ মডেলটি ব্যবহার করছেন তার ভেতরে — সবখানেই খুব জাঁকজমকহীন কিন্তু অত্যন্ত গুরুত্বপূর্ণ কাজ করে চলেছে একটি CNN (অথবা এর কাছাকাছি কোনো উন্নত রূপ)। wrapping বা autograd-এর মাধ্যমে ফ্রেমওয়ার্কগুলো স্বয়ংক্রিয়ভাবে এটি করে নেয়। তবে এই ডেরাইভেশনটি বুঝতে পারাই একজন সাধারণ ব্যবহারকারী থেকে একজন দক্ষ ইঞ্জিনিয়ারকে আলাদা করে: গ্রেডিয়েন্ট এক্সপ্লোড বা ভ্যানিশ হওয়া, কোনো পুলিং লেয়ারের কারণে গ্রেডিয়েন্ট ফ্লো আটকে যাওয়া, অথবা কাস্টম লস ফাংশনের সাথে আউটপুট অ্যাক্টিভেশনের অমিল — এই সব ধরনের বাস্তব সমস্যা চিহ্নিত করার জন্য মনে মনে এই চ্যাপ্টারের ব্যাকপ্রোপাগেশন রান করতে পারা অত্যন্ত দরকারি।