The Mathematical Toolkit

ভূমিকা (Motivation)

এই কোর্সে আপনি LSTM-এর যত সমীকরণ বা সূত্র দেখবেন, তার প্রতিটি মূলত পাঁচটি গাণিতিক অপারেশনের ওপর ভিত্তি করে তৈরি: ভেক্টর পাটিগণিত (vector arithmetic), ম্যাট্রিক্স গুণন (matrix multiplication), ডেরিভেটিভ (derivatives), চেইন রুল (chain rule) এবং গ্রেডিয়েন্ট ডিসেন্ট (gradient descent)। এই চ্যাপ্টারে আমরা এই প্রতিটি ধারণাকে একদম শূন্য থেকে তৈরি করব — প্রথমে এর পেছনের স্বজ্ঞাত ধারণা (intuition), এরপর গাণিতিক রূপ এবং শেষে একটি হাতে-কলমে সমাধান করা গাণিতিক উদাহরণ থাকবে। এখানকার কোনো অংশই বাদ দেওয়ার মতো নয় — LSTM Mathematics চ্যাপ্টারে এখানকার প্রতিটি টুল সরাসরি ব্যবহৃত হবে।

স্কেলার, ভেক্টর, ম্যাট্রিক্স এবং টেনসর (Scalars, Vectors, Matrices, and Tensors)

নিউরাল নেটওয়ার্ক মূলত বিভিন্ন গাণিতিক লেয়ারের মধ্য দিয়ে ডেটাকে বারবার রূপান্তরিত করে কাজ করে। এই ডেটা ধারণ করার পাত্র বা কন্টেইনারগুলো সাধারণত চার ধরণের ডাইমেনশন বা মাত্রার হয়ে থাকে:

ডট প্রোডাক্ট (The Dot Product)

$$\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i$$

এখানে: $\mathbf{a}$ এবং $\mathbf{b}$ হলো একই দৈর্ঘ্য $n$-এর দুটি ভেক্টর।

স্বজ্ঞাত ধারণা: ডট প্রোডাক্ট পরিমাপ করে যে দুটি ভেক্টর একে অপরের সাথে কতটা "সম্মত" বা সামঞ্জস্যপূর্ণ। যদি দুটি ভেক্টরের মান বড় হয় এবং তাদের দিক বা সাইন একই হয়, তবে ডট প্রোডাক্টের মান অনেক বেশি বড় হয়; আর দিক বিপরীত হলে মান কমে যায়। একটি পারসেপট্রন তার ইনপুট ও ওয়েটের মধ্যে ঠিক এই হিসাবটিই করে থাকে: $z = \mathbf{w} \cdot \mathbf{x} + b$।

গাণিতিক উদাহরণ: ধরি $\mathbf{a} = [1, 2, 3]$ এবং $\mathbf{b} = [4, 0, -1]$:

$$\mathbf{a} \cdot \mathbf{b} = (1)(4) + (2)(0) + (3)(-1) = 4 + 0 - 3 = 1$$

ম্যাট্রিক্স গুণন (Matrix Multiplication)

ম্যাট্রিক্স গুণন হলো মূলত একসাথে অনেকগুলো ডট প্রোডাক্ট করার নিয়ম। $\mathbf{A}$ যার সাইজ বা শেপ $(m \times n)$ এবং $\mathbf{B}$ যার শেপ $(n \times p)$, তাদের গুণফল $\mathbf{C} = \mathbf{A}\mathbf{B}$-এর শেপ হবে $(m \times p)$ এবং এর প্রতিটি মান হবে:

$$C_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}$$

শেপের নিয়ম (Shape rule): ভেতরের ডাইমেনশন দুটি অবশ্যই মিলতে হবে — অর্থাৎ $\mathbf{A}$-এর কলাম সংখ্যা এবং $\mathbf{B}$-এর রো সংখ্যা সমান হতে হবে। আর গুণফলের চূড়ান্ত শেপ হবে বাইরের ডাইমেনশন দুটির সমান।

গাণিতিক উদাহরণ:

$$\mathbf{A} = \begin{bmatrix}1 & 2\\3 & 4\end{bmatrix}, \quad \mathbf{B} = \begin{bmatrix}5\\6\end{bmatrix}$$

যেহেতু $\mathbf{A}$ হলো $2\times2$ এবং $\mathbf{B}$ হলো $2\times1$, তাই আমাদের গুণফল $\mathbf{C} = \mathbf{A}\mathbf{B}$ হবে $2\times1$ আকারের:

$$C_{11} = (1)(5)+(2)(6)=17, \quad C_{21}=(3)(5)+(4)(6)=39 \implies \mathbf{C}=\begin{bmatrix}17\\39\end{bmatrix}$$

একটি ডেন্স লেয়ারে যে হিসাবটি হয় — $\mathbf{W}\mathbf{x}$ (যেখানে $\mathbf{W}$ হলো লার্নড ওয়েট এবং $\mathbf{x}$ হলো ইনপুট ভেক্টর) — এটি ঠিক এই ম্যাট্রিক্স গুণনের মতোই।

ডেরিভেটিভ (Derivatives): সংবেদনশীলতা পরিমাপ করা

একটি ডেরিভেটিভ (derivative) পরিমাপ করে যে কোনো ফাংশনের ইনপুট সামান্য পরিবর্তন করলে তার আউটপুটে কতটা পরিবর্তন ঘটে — সহজ কথায় এটি একটি তাৎক্ষণিক ঢাল বা স্লোপ (slope)।

$$f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}$$

স্বজ্ঞাত ধারণা: যদি $f(x)$ সময়ের সাপেক্ষে আপনার গাড়ির অবস্থান বা দূরত্ব প্রকাশ করে, তবে $f'(x)$ হবে গাড়ির গতিবেগ বা স্পিড। নিউরাল নেটওয়ার্কের ক্ষেত্রে, $f$ যদি হয় লস (loss) এবং $x$ যদি হয় কোনো ওয়েট (weight), তবে $f'(x)$ আমাদের বলে: "আমি যদি এই ওয়েটটিকে সামান্য বাড়িয়ে দিই, তবে লস কি বাড়বে নাকি কমবে, এবং ঠিক কতটা কমবে বা বাড়বে?" এই সংকেতটি ব্যবহার করেই ওয়েটগুলোকে আপডেট করা হয়।

অপরিহার্য ডেরিভেটিভ নিয়মসমূহ:

চেইন রুল (The Chain Rule): ডিপ লার্নিংয়ের মূল চালিকাশক্তি

চেইন রুল (chain rule) হলো নিউরাল নেটওয়ার্কের জন্য ক্যালকুলাসের সবচেয়ে গুরুত্বপূর্ণ ফলাফল, কারণ নেটওয়ার্কগুলো মূলত অনেকগুলো ছোট ছোট ফাংশন জুড়ে তৈরি করা একটি জটিল বা যৌগিক ফাংশন।

যদি $y = f(u)$ এবং $u = g(x)$ হয়, তবে:

$$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$$

স্বজ্ঞাত ধারণা: ধরুন আপনার বেতন নির্ভর করে আপনার পারফরম্যান্স রেটিংয়ের ওপর, যা আবার নির্ভর করে আপনার পড়ার বা পরিশ্রম করার ঘণ্টার ওপর। তাহলে প্রতি অতিরিক্ত ঘণ্টা পড়ার কারণে বেতনের পরিবর্তন = (প্রতি রেটিং পয়েন্টের জন্য বেতনের পরিবর্তন) × (প্রতি ঘণ্টার জন্য রেটিংয়ের পরিবর্তন)। আপনি শুধু স্থানীয় হারের পরিবর্তনের মানগুলো গুণ করছেন। এটিই হলো চেইন রুল — আর ঠিক এভাবেই এলএসটিএম-এর অনেকগুলো লেয়ার ও অসংখ্য টাইম স্টেপের মধ্য দিয়ে গ্রেডিয়েন্ট পেছনের দিকে প্রবাহিত হয়।

গাণিতিক উদাহরণ: $y = (3x+1)^2$-এর ডেরিভেটিভ বের করুন। ধরা যাক $u = 3x+1$, তাই $y = u^2$:

$$\frac{dy}{du} = 2u, \quad \frac{du}{dx} = 3 \implies \frac{dy}{dx} = 2u \cdot 3 = 6(3x+1)$$

$x=1$ বিন্দুতে: $\frac{dy}{dx} = 6(4) = 24$।

পার্শিয়াল ডেরিভেটিভ এবং গ্রেডিয়েন্ট (Partial Derivatives and the Gradient)

যখন কোনো ফাংশন একাধিক ভেরিয়েবলের ওপর নির্ভর করে, তখন একটি পার্শিয়াল ডেরিভেটিভ (partial derivative) অন্য সব ভেরিয়েবল স্থির রেখে কেবল একটি ভেরিয়েবলের সাপেক্ষে পরিবর্তন পরিমাপ করে।

উদাহরণ: $f(x, y) = x^2 y + 3y$-এর ক্ষেত্রে:

$$\frac{\partial f}{\partial x} = 2xy, \quad \frac{\partial f}{\partial y} = x^2 + 3$$

$(x, y) = (2, 1)$ বিন্দুতে: $\frac{\partial f}{\partial x} = 4$, $\frac{\partial f}{\partial y} = 7$।

গ্রেডিয়েন্ট (gradient) $\nabla f$ হলো মূলত সকল পার্শিয়াল ডেরিভেটিভের সমন্বয়ে গঠিত একটি ভেক্টর। এটি ফাংশনটির সবচেয়ে দ্রুত বৃদ্ধির দিক নির্দেশ করে। ফাংশনকে মিনিমাইজ বা কমাতে হলে আমাদের এর বিপরীত দিকে যেতে হবে।

গ্রেডিয়েন্ট ডিসেন্ট (Gradient Descent): পাহাড় থেকে নিচে নামা

$$\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}(\theta)$$

এখানে: $\theta$ হলো প্যারামিটার (যেমন: কোনো ওয়েট), $\mathcal{L}(\theta)$ হলো লস (মডেলটি কতটা ভুল করছে), $\nabla_\theta \mathcal{L}$ হলো গ্রেডিয়েন্ট (কোন দিকে গেলে লস বাড়ে), এবং $\eta$ (ইটা) হলো লার্নিং রেট (learning rate) — যা নির্দেশ করে আমরা কত বড় পদক্ষেপ নেব।

গাণিতিক উদাহরণ: $\theta_0 = 0$, $\eta = 0.1$ থেকে শুরু করে $f(\theta) = (\theta - 3)^2$ ফাংশনটি মিনিমাইজ করুন। যেহেতু $f'(\theta) = 2(\theta - 3)$:

$\theta$-এর মান ধীরে ধীরে ৩-এর দিকে এগোচ্ছে (যা ফাংশনটির আসল মিনিমাম), এবং নিচের দিকে আসার সাথে সাথে গ্রেডিয়েন্ট ছোট হওয়ায় আপডেটের সাইজও ছোট হয়ে যাচ্ছে।

ব্যাকপ্রোপাগেশন (Backpropagation): লেয়ারে লেয়ারে চেইন রুল

ব্যাকপ্রোপাগেশন (Backpropagation) হলো একটি নেটওয়ার্কের প্রতিটি ওয়েটের ওপর চেইন রুলকে খুব নিয়মতান্ত্রিকভাবে প্রয়োগ করা, যা একটি ব্যাকওয়ার্ড পাসে (backward pass) সম্পন্ন হয়।

• ফরোয়ার্ড পাস (Forward pass): নেটওয়ার্কের ভেতর দিয়ে ইনপুট পাঠানো → প্রেডিকশন বের করা → লস হিসাব করা।
• ব্যাকওয়ার্ড পাস (Backward pass): লস থেকে শুরু করে নেটওয়ার্কের পেছনের লেয়ারের দিকে হাঁটা। প্রতিটি লেয়ারে চেইন রুল ব্যবহার করে "এই লেয়ারের আউটপুট লসের ওপর কতটা প্রভাব ফেলেছিল" তা থেকে "এই লেয়ারের ওয়েটগুলো লসের ওপর কতটা প্রভাব ফেলেছিল" তা হিসাব করা।

গাণিতিক উদাহরণ: একটি অত্যন্ত ছোট ২-লেয়ার নেটওয়ার্ক: $z_1 = w_1 x$, $a_1 = z_1^2$, $z_2 = w_2 a_1$, $\mathcal{L} = z_2^2$। ধরি $x=1$, $w_1=2$, $w_2=1$।

ফরোয়ার্ড: $z_1=2$, $a_1=4$, $z_2=4$, $\mathcal{L}=16$

ব্যাকওয়ার্ড:

$$\frac{\partial \mathcal{L}}{\partial z_2} = 8, \quad \frac{\partial \mathcal{L}}{\partial w_2} = 8 \cdot a_1 = 32, \quad \frac{\partial \mathcal{L}}{\partial w_1} = 8 \cdot w_2 \cdot 2z_1 \cdot x = 32$$

প্রতিটি লাইনে কিন্তু তার আগের লাইনের হিসাবের রেজাল্টটি আবার ব্যবহৃত হয়েছে — আর এই পুনর্ব্যবহারের কারণেই ব্যাকপ্রোপাগেশন অত্যন্ত দক্ষ: কোনো গ্রেডিয়েন্ট দ্বিতীয়বার হিসাব করার প্রয়োজন হয় না।

ব্যাকপ্রোপাগেশন থ্রু টাইম (Backpropagation Through Time - BPTT)

সাধারণ ব্যাকপ্রোপাগেশন বিভিন্ন লেয়ারের মধ্য দিয়ে পেছনের দিকে যায়। আর Backpropagation Through Time (BPTT) একই চেইন রুল প্রয়োগ করে, তবে এটি লেয়ারের বদলে বিভিন্ন টাইম স্টেপের (time steps) মধ্য দিয়ে পেছনের দিকে যায়, কারণ LSTM-এ একই ওয়েট প্রতিটি টাইম স্টেপে বারবার ব্যবহৃত হয়।

$$\frac{\partial \mathcal{L}}{\partial \mathbf{W}} = \sum_{t} \frac{\partial \mathcal{L}_t}{\partial \mathbf{W}}$$

স্বজ্ঞাত ধারণা: ধরুন আপনি প্রতিদিনের কিছু সিদ্ধান্তের ভিত্তিতে একটি বড় ধরনের ভুল করেছেন এবং কোন সিদ্ধান্তের জন্য কতটুকু ভুল হয়েছে তা পেছনের দিকে গিয়ে বিচার করছেন। এখানে যেহেতু প্রতিদিন আপনি একই নীতি বা নিয়ম (একই ওয়েট) ব্যবহার করেছেন, তাই চূড়ান্ত ভুলের জন্য দায়ী ওয়েটের গ্রেডিয়েন্টটি কেবল একটি সিঙ্গেল দিনের জন্য হিসাব করলে হবে না, বরং প্রতিটি দিন ওই ওয়েটটি যতটা ভুল তৈরি করেছিল সবগুলোকে যোগ বা সঞ্চয় (accumulate) করতে হবে।

অনেকগুলো টাইম স্টেপ জুড়ে এই চেইন রুলের বারবার গুণফল হওয়ার কারণেই সাধারণ RNN-এ ভ্যানিশিং ও এক্সপ্লোডিং গ্রেডিয়েন্ট তৈরি হয় — আর ঠিক এই সমস্যা সমাধানের জন্যই LSTM-এর গেটেড সেল স্টেট ডিজাইন করা হয়েছিল।

মূল বিষয়গুলো (Key Takeaways)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তব প্র্যাকটিসে এর ভূমিকা

LSTM-এর মধ্য দিয়ে ডেটা যাওয়ার প্রতিটি ফরোয়ার্ড পাসই হলো মূলত কিছু ম্যাট্রিক্স গুণন এবং ডট প্রোডাক্টের ক্রম। আর প্রতিটি ট্রেনিং স্টেপ হলো BPTT — যেখানে চেইন রুলের সাহায্যে শেয়ার্ড ওয়েট ম্যাট্রিক্সগুলোর গ্রেডিয়েন্ট টাইম স্টেপ জুড়ে সঞ্চয় করা হয়। LSTM Mathematics চ্যাপ্টারে আমরা এই প্রতিটি ধাপ সংখ্যার সাহায্যে নিখুঁতভাবে লিখে দেখাবো যাতে সূত্রের ভেতরের প্রতিটি প্রতীকের অর্থ ও উৎস আপনি সহজেই বুঝতে পারেন।