Recurrent Neural Networks

ভূমিকা (Motivation)

আমরা এর আগের চ্যাপ্টারে দেখেছি যে একটি সাধারণ MLP কীভাবে ভিন্ন দৈর্ঘ্যের ও ক্রম-সংবেদনশীল (order-sensitive) সিকোয়েন্স হ্যান্ডেল করতে গিয়ে ব্যর্থ হয়। একটি রিক্যারেন্ট নিউরাল নেটওয়ার্ক (Recurrent Neural Network - RNN) এই সমস্যার সমাধান করে মাত্র একটি ছোট কাঠামোগত পরিবর্তনের মাধ্যমে: একটি লুপ বা চক্র (loop)। কিন্তু এই চ্যাপ্টারে আমরা দেখবো যে, ওই লুপটি নিজেই আরেকটি বড় ও জটিল সমস্যার জন্ম দেয় — আর ঠিক সেই সমস্যাটিই হলো LSTM আবিষ্কারের মূল কারণ।

MLP থেকে RNN: লুপ বা চক্র যুক্ত করা

একটি MLP তার প্রতিটি ইনপুটকে সম্পূর্ণ আলাদা বা বিচ্ছিন্নভাবে প্রসেস করে। অন্যদিকে, একটি RNN এর সাথে একটি ফিডব্যাক কানেকশন (feedback connection) বা লুপ যুক্ত করে: ইনপুট $x_t$ প্রসেস করার পর, এটি তার প্রাপ্ত ফলাফলকে পরবর্তী টাইম স্টেপের অতিরিক্ত ইনপুট হিসেবে সামনে পাঠিয়ে দেয়।

বিষয়টি এভাবে ভাবুন: আপনি একটি বাক্যের প্রতিটি শব্দ এক এক করে পড়ছেন এবং একই সাথে আপনার মাথায় পুরো বাক্যের একটি মানসিক সারসংক্ষেপ (mental summary) ধরে রেখেছেন। প্রতিটি নতুন শব্দ পড়ার পর, আপনি আপনার মাথায় থাকা আগের সারসংক্ষেপ এবং নতুন শব্দটিকে মিলিয়ে সেই সারসংক্ষেপটিকে আপডেট করে নিচ্ছেন। এই চলমান সারসংক্ষেপটিই — যা সংকুচিত, অপরিপূর্ণ কিন্তু সামনে বয়ে চলা — হলো RNN-এর হিডেন স্টেট (hidden state) $h_t$।

সময়ের সাথে উন্মোচিত RNN (RNN Unrolled Through Time)Illustration coming soon

RNN-এর সমীকরণসমূহ (The RNN Equations)

$$h_t = \tanh(\mathbf{W}_{xh} x_t + \mathbf{W}_{hh} h_{t-1} + b_h)$$$$y_t = \mathbf{W}_{hy} h_t + b_y$$

এখানে:

• $x_t$ — $t$ সময়ে ইনপুট ভেক্টর
• $h_{t-1}$ — আগের টাইম স্টেপ থেকে বয়ে আনা হিডেন স্টেট (যা মেমরি বা স্মৃতি হিসেবে কাজ করে)
• $h_t$ — নতুন হিডেন স্টেট; যা একই সাথে বর্তমানের আউটপুট এবং সামনে বয়ে নিয়ে যাওয়ার মেমরি
• $\mathbf{W}_{xh}$ — ইনপুট থেকে হিডেন স্টেটে ম্যাপিং করার ওয়েট ম্যাট্রিক্স
• $\mathbf{W}_{hh}$ — রিক্যারেন্ট (recurrent) ওয়েট ম্যাট্রিক্স, যা আগের হিডেন স্টেট থেকে নতুন হিডেন স্টেটে ম্যাপিং করে এবং প্রতি স্টেপে পুনর্ব্যবহৃত হয়
• $\mathbf{W}_{hy}$ — হিডেন স্টেট থেকে আউটপুটে ম্যাপিং করার ওয়েট ম্যাট্রিক্স
• $\tanh$ — অ্যাক্টিভেশন ফাংশন যা মানকে $(-1, 1)$ সীমার মধ্যে সংকুচিত (squash) করে রাখে

গাণিতিক উদাহরণ: একটি স্কেলার RNN: $W_{xh}=0.5$, $W_{hh}=0.8$, $b_h=0$, $h_0=0$; ইনপুট $x_1=x_2=1$।

ধাপ ১: $h_1 = \tanh(0.5 \cdot 1 + 0.8 \cdot 0) = \tanh(0.5) \approx 0.462$

ধাপ ২: $h_2 = \tanh(0.5 \cdot 1 + 0.8 \cdot 0.462) = \tanh(0.870) \approx 0.702$

লক্ষ্য করুন $h_2$ নির্ভর করছে $h_1$-এর ওপর, যা আবার নির্ভর করছে $h_0$-এর ওপর — এই চেইন বা শিকলের মতো নির্ভরশীলতাই একই সাথে RNN-এর মেমরির শক্তি এবং এর সবচেয়ে বড় দুর্বলতার উৎস।

ট্রেনিং: ব্যাকপ্রোপাগেশন থ্রু টাইম (Backpropagation Through Time)

একটি RNN-কে ট্রেন করার জন্য আমরা ম্যাথ টুলকিট চ্যাপ্টারের BPTT পদ্ধতিটিই ব্যবহার করি: পুরো সিকোয়েন্সের ওপর ফরোয়ার্ড পাস রান করা, প্রতিটি স্টেপে লস হিসাব করা, এবং এরপর পেছনের দিকে হেঁটে প্রতিটি টাইম স্টেপে শেয়ার্ড বা একই ওয়েট ম্যাট্রিক্সগুলোর ওপর জমা হওয়া গ্রেডিয়েন্ট সঞ্চয় করা।

ভ্যানিশিং গ্রেডিয়েন্ট সমস্যা (The Vanishing Gradient Problem)

এই চ্যাপ্টারের সবচেয়ে গুরুত্বপূর্ণ অংশ হলো ভ্যানিশিং গ্রেডিয়েন্টের গাণিতিক কারণটি বোঝা, কারণ এটিই মূলত LSTM আবিষ্কারের একমাত্র কারণ।

ধরা যাক, আমরা শেষ টাইম স্টেপ $T$-এর হিডেন স্টেট $h_T$-এর ওপর ভিত্তি করে হিসাব করা লসের গ্রেডিয়েন্টটি অনেক আগের কোনো টাইম স্টেপ $k$-এর হিডেন স্টেট $h_k$-এর সাপেক্ষে বের করতে চাই। চেইন রুল অনুযায়ী:

$$\frac{\partial h_T}{\partial h_k} = \prod_{t=k+1}^{T} \frac{\partial h_t}{\partial h_{t-1}}$$

যেখানে প্রতিটি লোকাল গ্রেডিয়েন্ট হলো: $\frac{\partial h_t}{\partial h_{t-1}} = \text{diag}(\tanh'(z_t)) \cdot \mathbf{W}_{hh}$

এবং $\tanh'(z) = 1 - \tanh^2(z) \in (0, 1]$।

এই গুণফলের প্রতিটি চেইনে দুটি সত্য একে অপরের সাথে গুন হয়ে এক ভয়াবহ সমস্যা তৈরি করে:

১. $\tanh'(z) \in (0, 1]$: tanh-এর ডেরিভেটিভ কখনো ১-এর বেশি হতে পারে না, এবং $|z|$-এর মান বাড়ার সাথে সাথে তা খুব দ্রুত ০-এর কাছাকাছি চলে যায়। প্র্যাকটিক্যাল ক্ষেত্রে এর মান প্রায় সবসময় ১-এর চেয়ে বেশ কম থাকে। ২. $\mathbf{W}_{hh}$ হলো একটি ফিক্সড ম্যাট্রিক্স যা প্রতি স্টেপে বারবার ব্যবহৃত হয়: এর সর্বোচ্চ "টান বা স্ট্রেচিং ফ্যাক্টর" (eigenvalue) যদি ১-এর চেয়ে কম হয়, তবে বারবার গুণ করার কারণে গ্রেডিয়েন্টটি শূন্যের দিকে চলে যায়; আর ১-এর বেশি হলে তা অসীমভাবে বাড়তে থাকে।

সংখ্যার সাহায্যে প্রমান: ধরা যাক প্রতিটি লোকাল গ্রেডিয়েন্টের মান $0.9$:

১০০ স্টেপ পেছনে যেতে যেতে গ্রেডিয়েন্ট সিগন্যাল প্রায় পুরোপুরি ভ্যানিশ বা অদৃশ্য হয়ে গেছে। সমীকরণ অনুযায়ী তাত্ত্বিকভাবে তথ্য প্রবাহিত হতে পারলেও, বাস্তবে নেটওয়ার্কটি দীর্ঘস্থায়ী মেমরির সম্পর্কগুলো শিখতে ব্যর্থ হয়।

এক্সপ্লোডিং গ্রেডিয়েন্ট সমস্যা (The Exploding Gradient Problem)

এর ঠিক উল্টো সমস্যাটি ঘটে যখন গুণফলের ফ্যাক্টরগুলো প্রতিনিয়ত ১-এর চেয়ে বড় হতে থাকে — তখন গ্রেডিয়েন্ট এক্সপোনেনশিয়ালি বড় হয়ে যায় এবং এর ফলে ওয়েটগুলো অত্যন্ত অস্থিতিশীল ও বিশাল আপডেটের সম্মুখীন হয়। ট্রেনিংয়ের মাঝে হঠাৎ করে লস (loss) NaN হয়ে যাওয়া এই সমস্যার একটি ক্লাসিক লক্ষণ।

এর সাধারণ সমাধান হলো গ্রেডিয়েন্ট ক্লিপিং (gradient clipping): ওয়েট আপডেট করার আগে, যদি গ্রেডিয়েন্ট ভেক্টরের আকার কোনো নির্দিষ্ট থ্রেশহোল্ড অতিক্রম করে, তবে তাকে জোর করে টেনে ছোট বা স্কেল ডাউন করে দেওয়া হয়। এটি এক্সপ্লোডিং গ্রেডিয়েন্টের বিরুদ্ধে বেশ কার্যকর।

কেন tanh বিশেষ করে এই সমস্যাকে বাড়িয়ে দেয়

ভাগফলের নিয়ম (quotient rule) ব্যবহার করে $\tanh'(z)$-এর ডেরিভেটিভ বের করলে আমরা পাই:

$$\frac{d}{dz}\tanh(z) = 1 - \tanh^2(z)$$

যেহেতু $\tanh(z) \in (-1, 1)$, তাই এর ডেরিভেটিভ $\tanh'(z) \in (0, 1]$ — এটি কখনো ১ অতিক্রম করতে পারে না এবং $|z|$-এর মান বাড়ার সাথে সাথে খুব দ্রুত ০-এর কাছাকাছি চলে যায় (যাকে স্যাচুরেশন বা saturation বলে)। প্রতি অতিরিক্ত টাইম স্টেপ নেটওয়ার্কে এমন আরেকটি ফ্যাক্টর গুণ করে। তাই সিকোয়েন্স বড় হলে ভ্যানিশিং গ্রেডিয়েন্ট হওয়া প্রায় শতভাগ নিশ্চিত, যদি না আমরা এর মৌলিক গঠনে কোনো পরিবর্তন আনি।

সাধারণ RNN-এর সীমাবদ্ধতার সারসংক্ষেপ

মূল বিষয়গুলো (Key Takeaways)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তব প্র্যাকটিসে এর ভূমিকা

প্রতিবার যখন আপনি কাউকে বলতে শুনবেন যে "LSTM ভ্যানিশিং গ্রেডিয়েন্ট সমস্যার সমাধান করে," তখন তারা মূলত এই চ্যাপ্টারের গাণিতিক ব্যাখ্যাটিই নির্দেশ করেন — অর্থাৎ $\frac{\partial h_T}{\partial h_k} = \prod \frac{\partial h_t}{\partial h_{t-1}}$-এর জ্যামিতিক ক্ষয়। পরবর্তী চ্যাপ্টারে আমরা দেখবো কীভাবে গেটের সাহায্যে LSTM এই দীর্ঘ গুণফলের ফাঁদ থেকে নিজেকে বাঁচায়।