Activation Functions in CNNs

ভূমিকা (Motivation)

যেকোনো নিউরাল নেটওয়ার্ক থেকে অ্যাক্টিভেশন ফাংশনগুলো সরিয়ে দিন, নেটওয়ার্কটি যত গভীরই হোক না কেন, একটি আশ্চর্যজনক বিষয় লক্ষ্য করবেন: পুরো নেটওয়ার্কটি ভেঙে একটি একক লিনিয়ার বা রৈখিক রূপান্তরে (linear transformation) পরিণত হবে। মাঝখানে কোনো নন-লিনিয়ারিটি বা অ্যাক্টিভেশন ফাংশন ছাড়া একটার ওপর আরেকটা সাজানো ১০০টি কনভোলিউশন লেয়ার গাণিতিকভাবে একটিমাত্র কনভোলিউশন লেয়ারের সমতুল্য। এর গভীরতা, এর সমস্ত রিপ্রেজেন্টেশনাল ক্ষমতা এক মুহূর্তে কর্পূরের মতো উড়ে যাবে।

অ্যাক্টিভেশন ফাংশনগুলোই মূলত এই ভেঙে যাওয়া বা অবক্ষয় রোধ করে। এগুলো হলো ছোট, সস্তা এবং খুব সাধারণ গাণিতিক ফাংশন যা প্রতি লেয়ারের পর উপাদান-ভিত্তিক বা element-wise প্রয়োগ করা হয় — আর কোন ফাংশনটি ব্যবহার করছেন সেই সিদ্ধান্তটি নেটওয়ার্ক কত দ্রুত ট্রেইন হবে, গ্রেডিয়েন্ট পেছনের দিকে প্রবাহের সময় বেঁচে ফিরবে কিনা, এবং কিছু নিউরন নীরবে চিরতরে শেখা বন্ধ করে দেবে কিনা তার ওপর এক বিশাল প্রভাব ফেলে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

ভাবুন তো, একটি রিভিউ কমিটি কোনো দরখাস্ত যাচাই করছে, যেখানে প্রতিটি রিভিউয়ারের চূড়ান্ত সিদ্ধান্ত হলো তার আগের রিভিউয়ারের সিদ্ধান্তের একটি গড় বা ওয়েটেড এভারেজ মাত্র। এই চেইনে আপনি যত রিভিউয়ারই যোগ করুন না কেন, পুরো কমিটি শেষ পর্যন্ত একটি কার্যকরী ওয়েটেড এভারেজে নেমে আসবে — অর্থাৎ লিনিয়ার বা রৈখিক আচরণ করা রিভিউয়ারের সংখ্যা বাড়িয়ে আসলে আপনার কোনো লাভ নেই। এবার প্রতি রিভিউয়ারকে একটি করে নিয়ম দিন, যেমন "যদি আমার ক্যালকুলেট করা স্কোর নেগেটিভ হয়, তবে আমি সিদ্ধান্ত না দিয়ে চুপ থাকব বা vote দেওয়া থেকে বিরত থাকব" — হঠাৎ করেই প্রতি রিভিউয়ারের সিদ্ধান্ত আগের রিভিউয়ারের সরল সিদ্ধান্তের চেয়ে আরও জটিল ও ভিন্ন কিছু তৈরি করবে। এই "নেগেটিভ হলে বিরত থাকা" নিয়মটিই হলো মূলত ReLU (Rectified Linear Unit), যা আধুনিক CNN-এর প্রায় প্রতিটি কনভোলিউশনের পর ব্যবহৃত অ্যাক্টিভেশন ফাংশন।

মূল ধারণা তৈরি করা (Building the Intuition)

• নন-লিনিয়ারিটি ছাড়া গভীরতা কেবল একটি বিভ্রম — স্তুপীকৃত লিনিয়ার লেয়ারগুলো আসলে ছদ্মবেশে একটি একক লিনিয়ার লেয়ার ছাড়া আর কিছুই নয়।
• বিভিন্ন অ্যাক্টিভেশন ফাংশন তিনটি বিষয়ের মধ্যে আপস বা ব্যালেন্স করে কাজ করে: কম্পিউটেশনালি ফাংশনটি কতটা সস্তা, এর ভেতর দিয়ে ব্যাকওয়ার্ড পাসে গ্রেডিয়েন্ট কতটা ভালোভাবে প্রবাহিত হতে পারে, এবং এর আউটপুটের সীমা বা রেঞ্জ লেয়ারের কাজের (যেমন হিডেন ফিচারের মান বনাম চূড়ান্ত সম্ভাবনা বের করা) সাথে মিলছে কিনা।
• সাধারণ নিয়ম হিসেবে: ReLU এবং এর উন্নত রূপগুলো হিডেন লেয়ার শাসন করে; আর Sigmoid ও Softmax প্রায় একচেটিয়াভাবে শুধুমাত্র আউটপুট লেয়ারের জন্য বরাদ্দ থাকে।

পেছনের মূল গণিত (The Math Behind It)

ReLU (Rectified Linear Unit)

সুবিধাসমূহ: কম্পিউটেশনালি খুবই সস্তা (শুধু শূন্যের সাথে একটি তুলনা করতে হয়); $x>0$ এর জন্য vanishing gradient সমস্যা এড়ায়; স্পার্সিটি (sparsity) বাড়ায়, কারণ যেকোনো ইনপুটের জন্য উল্লেখযোগ্য বা বড় অংশের নিউরনের আউটপুট হুবহু শূন্য হয়।

অসুবিধাসমূহ: "dying ReLU" সমস্যা — কোনো নিউরনের আউটপুট যদি ট্রেনিংয়ের সব উদাহরণের জন্যই $x \leq 0$ হয়, তবে তার গ্রেডিয়েন্ট চিরতরে শূন্য হয়ে যায় এবং সেটি স্থায়ীভাবে শেখা বন্ধ করে দেয়; ReLU-র আউটপুট কখনো নেগেটিভ হয় না, তাই এটি জিরো-সেন্টার্ড (zero-centered) নয়।

ব্যবহারিক ক্ষেত্র: CNN-এর হিডেন লেয়ারগুলোর জন্য ডিফল্ট পছন্দ — প্রায় প্রতিটি কনভোলিউশনের পরই এটি ব্যবহৃত হয়।

Leaky ReLU

সুবিধাসমূহ: $x<0$-এর জন্য একটি ছোট অশূন্য গ্রেডিয়েন্ট বজায় রেখে সরাসরি dying-neuron সমস্যার সমাধান করে।

অসুবিধাসমূহ: বাস্তবে এর ফলাফল সবসময় সাধারণ ReLU থেকে ভালো হয় না; $\alpha$ হলো আরেকটি অতিরিক্ত হাইপারপ্যারামিটার যা বেছে নিতে হয়, যদি না এটি মডেল নিজে থেকে শেখে (যেমন PReLU বা Parametric ReLU-র ক্ষেত্রে)।

ব্যবহারিক ক্ষেত্র: ট্রেনিংয়ের সময় যদি প্রচুর পরিমাণে ডেড নিউরনের উপস্থিতি সনাক্ত হয়, তবে ReLU-র বিকল্প ড্রপ-ইন হিসেবে এটি ব্যবহৃত হয়।

Sigmoid

সুবিধাসমূহ: সর্বত্র মসৃণ ও ব্যবকলনযোগ্য (smooth and differentiable); বাউন্ডেড আউটপুট যা সরাসরি সম্ভাবনা নির্দেশ করে।

অসুবিধাসমূহ: vanishing gradient for large $|x|$; zero-centered নয়; ReLU-র চেয়ে কম্পিউটেশনালি কিছুটা ব্যয়বহুল (কম্প্যারিসনের বদলে exponential হিসাব করতে হয়)।

ব্যবহারিক ক্ষেত্র: binary classification-এর আউটপুট লেয়ার; এছাড়া LSTM সেলের gating function হিসেবে ব্যবহৃত হয় — তবে CNN-এর হিডেন লেয়ারে এর ব্যবহার এখন আর দেখাই যায় না।

Tanh (Hyperbolic Tangent)

সুবিধাসমূহ: zero-centered output, যা সিগময়েডের তুলনায় gradient-based optimization-এ বেশি সাহায্য করে; মসৃণ ও ব্যবকলনযোগ্য।

অসুবিধাসমূহ: very large $|x|$-এ এখনও ভ্যানিশিং-গ্রেডিয়েন্ট সমস্যায় ভোগে।

ব্যবহারিক ক্ষেত্র: ReLU জনপ্রিয় হওয়ার আগে হিডেন লেয়ারে ব্যবহৃত হতো; এখনও RNN এবং LSTM সেলের ভেতরে খুব বেশি ব্যবহৃত হয়।

Softmax

সুবিধাসমূহ: raw স্কোরগুলোকে $K$ সংখ্যক ক্লাসের ওপর বৈধ সম্ভাবনায় রূপান্তর করে; ক্রস-এন্ট্রপি লসের সাথে চমৎকার বন্ধন তৈরি করে (যা আমরা আগের চ্যাপ্টারগুলোতে দেখেছি)।

অসুবিধাসমূহ: খুব বড় লজিটের প্রতি সংবেদনশীল যা exponential করার সময় overflow হতে পারে — বাস্তবে হিসাব করার আগে প্রতিটি লজিট থেকে সর্বোচ্চ লজিটটি বিয়োগ করে নিয়ে এই সমস্যার সমাধান করা হয়, যা গাণিতিক মান অপরিবর্তিত রেখে সংখ্যাগুলোকে নিয়ন্ত্রণে রাখে।

ব্যবহারিক ক্ষেত্র: multi-class classification-এর আউটপুট লেয়ারে।

তুলনা টেবিল (Comparison Table)

বাস্তব উদাহরণ: একটি মৃত বা Dying Neuron সনাক্ত করা

ধরুন, একটি কনভোলিউশন ফিল্টারের প্রাক-অ্যাক্টিভেশন বা pre-activation আউটপুট ৫০টি ট্রেনিং ইমেজের একটি ব্যাচের জন্য সবসময় নেগেটিভ আসে — অর্থাৎ প্রতি ইমেজের জন্যই $z < 0$। এটি যখন সাধারণ ReLU-র মধ্য দিয়ে প্রবাহিত হয়, তখন ৫০টি ছবির জন্যই আউটপুট হয় ০, এবং লোকাল ডেরিভেটিভ $f'(z)$ এর মানও ৫০টি ছবির জন্যই ০ হয়। ব্যাকপ্রোপাগেশনের সময়, এই ফিল্টারের ওজনের কাছে পৌঁছানো গ্রেডিয়েন্টকে প্রতিটি উদাহরণের জন্য ওই শূন্য ডেরিভেটিভ দিয়ে গুণ করা হয় — তাই ইনকামিং এরর সিগন্যাল $\delta$ যত বড়ই হোক না কেন, এই ফিল্টারের ওজনের আপডেট বা সংশোধন হয় হুবহু ০। এটি এখন ট্রেনিংয়ের যত epoch-ই আসুক না কেন, স্থায়ীভাবে লক বা আটকে গেছে।

এবার এই একই ফিল্টারে Leaky ReLU (যেখানে $\alpha = 0.01$) ব্যবহার করে দেখুন, $z<0$-এর জন্য ডেরিভেটিভের মান ০ না হয়ে হবে $0.01$ — খুব ছোট, কিন্তু অশূন্য। ফিল্টারটি এখনও একটি (হালকা) গ্রেডিয়েন্ট সিগন্যাল পাবে এবং বাকি নেটওয়ার্ক বা ডেটার পরিবর্তনের সাথে সাথে পুনরায় পজিটিভ জোনে ফেরত আসার সুযোগ পাবে।

কোড ইমপ্লিমেন্টেশন (Implementing It)

import numpy as np
 
def relu(x):
    return np.maximum(0, x)
 
def relu_grad(x):
    return (x > 0).astype(float)
 
def leaky_relu(x, alpha=0.01):
    return np.where(x > 0, x, alpha * x)
 
def leaky_relu_grad(x, alpha=0.01):
    return np.where(x > 0, 1.0, alpha)
 
def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))
 
def softmax(z):
    shifted = z - np.max(z)          # গাণিতিক স্থিতিশীলতার জন্য: প্রথমে সর্বোচ্চ লজিট বিয়োগ করা হয়েছে
    exp_z = np.exp(shifted)
    return exp_z / np.sum(exp_z)
 
# মিনি-ব্যাচ জুড়ে "dying ReLU" ফিল্টার সনাক্ত করা
pre_activations = np.array([-2.1, -0.5, -3.0, -1.2, -0.8])  # এই ফিল্টারের জন্য সর্বদা নেগেটিভ
dead_fraction = np.mean(relu_grad(pre_activations) == 0)
print(f"এই ফিল্টারের জন্য শূন্য ReLU গ্রেডিয়েন্ট পাওয়া উদাহরণের হার: {dead_fraction:.0%}")

কোডটির কয়েকটি বিশেষ দিক লক্ষ্য করুন:

• softmax সবসময় প্রথমে সর্বোচ্চ লজিট বিয়োগ করে নেয়। এটি কোনো স্টাইলিশ বা ঐচ্ছিক বিষয় নয় — এটি ছাড়া বড় লজিটগুলো np.exp-কে overflow করে NaN রেজাল্ট তৈরি করবে, যদিও গাণিতিকভাবে আউটপুট একই থাকার কথা।
• relu_grad একটি বুলিয়ান-ভিত্তিক অ্যারে রিটার্ন করে, যা মূলত ব্যাকপ্রোপাগেশনের সময় ইনকামিং গ্রেডিয়েন্টের সাথে গুণ করার জন্য একদম পারফেক্ট গুণক — এটি ওপরের সমীকরণের পিসওয়াইজ ডেরিভেটিভের সরাসরি প্রতিফলন।
• ডেড-ফ্র্যাকশন চেক (dead-fraction check) একটি চমৎকার ডায়াগনস্টিক টেকনিক: কোনো ফিল্টারের অ্যাক্টিভেশন যদি কোনো ব্যাচ জুড়ে অনবরত শূন্য হতে থাকে, তবে সেটি "dying ReLU" এর লক্ষণ, এবং সাথে সাথে সেটিকে Leaky ReLU তে রূপান্তর করা খুব কার্যকর একটি সমাধান।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

আপনার তৈরি করা প্রায় প্রতিটি CNN একই অ্যাক্টিভেশন প্যাটার্ন অনুসরণ করবে: প্রতিটি কনভোলিউশন এবং ডেন্স হিডেন লেয়ারের পর ReLU (বা Leaky ReLU, অথবা এর আধুনিক কোনো রূপ যেমন GELU বা Swish), এবং একদম শেষ লেয়ারের জন্য সংরক্ষিত থাকবে Sigmoid বা Softmax। মডেল যখন ট্রেইন হতে চায় না — লস কমছে না, অ্যাকুরেসি আটকে আছে — তখন হাইপারপ্যারামিটার বা অপ্টিমাইজার বদলানোর আগে অ্যাক্টিভেশন ফাংশন চেক করা এবং ডেড নিউরনের উপস্থিতি খোঁজা সবচেয়ে কার্যকর প্রথম পদক্ষেপগুলোর একটি।