Optimizers

Optimizer কেন দরকার

Gradient & Gradient Descent চ্যাপ্টার মূল ট্রেনিং লুপ প্রতিষ্ঠা করেছিল: একটা gradient হিসাব করো, প্রতিটা weight থেকে এর একটা ছোট গুণক বিয়োগ করো, পুনরাবৃত্তি করো। Gradient descent-এর এই সাধারণ ভার্সনটা কাজ করে, কিন্তু এর একটা আসল দুর্বলতা আছে — এটা প্রতিটা পদক্ষেপকে একইভাবে দেখে, আগের পদক্ষেপে কী ঘটেছিল তার কোনো স্মৃতি ছাড়াই আর ট্রেনিং এগোনোর সাথে সাথে অভিযোজিত হওয়ার কোনো উপায় ছাড়াই।

একটা optimizer হলো সেই অ্যালগরিদম যা ট্রেনিংয়ের সময় এই weight-আপডেট প্রক্রিয়াটা আসলে ইমপ্লিমেন্ট করে। সাধারণ gradient descent হলো সবচেয়ে সহজ সম্ভাব্য optimizer, কিন্তু এটাই একমাত্র না — বছরের পর বছর ধরে, গবেষকরা ক্রমশ চালাক optimizer বানিয়েছেন যা অতিরিক্ত তথ্য (যেমন সাম্প্রতিক gradient-এর ইতিহাস) ব্যবহার করে শুধু সাধারণ gradient descent-এর চেয়ে বেশি চালাক, দ্রুত, স্থিতিশীল পদক্ষেপ নেয়।

সাধারণ gradient descent-এর দুইটা নির্দিষ্ট দুর্বলতা এই চ্যাপ্টারে দেখানো প্রায় প্রতিটা উন্নতির প্রেরণা। প্রথমত, সাধারণ gradient descent এমন loss ল্যান্ডস্কেপে কষ্টদায়কভাবে ধীর বা অস্থির হতে পারে যা কিছু দিকে খাড়া আর অন্য দিকে প্রায় সমতল — একটা মাত্র learning rate-কে দুইটার মধ্যে আপোস করতে হয়, যেমনটা Learning Rate চ্যাপ্টারে দেখা হয়েছে। দ্বিতীয়ত, সাধারণ gradient descent-এর "মনে রাখার" কোনো উপায় নেই যে এটা বেশ কয়েকটা পদক্ষেপ ধরে মোটামুটি একই দিকে ধারাবাহিকভাবে এগোচ্ছে, তাই এটা একটা বল পাহাড় থেকে গড়িয়ে নামার মতো স্বাভাবিকভাবে গতি তৈরি করতে পারে না।

SGD

Stochastic Gradient Descent (SGD), যা Gradient & Gradient Descent চ্যাপ্টারে পরিচয় করানো হয়েছিল, হলো সেই বেসলাইন optimizer যার উপর এই চ্যাপ্টারের বাকি সবগুলো তৈরি। প্রতিটা পদক্ষেপ সহজ: একটা mini-batch থেকে gradient হিসাব করো, তারপর প্রতিটা weight-কে সরাসরি সেই gradient-এর বিপরীতে আপডেট করো, learning rate দিয়ে স্কেল করে।

$$w_{t+1} = w_t - \eta \cdot g_t$$

এখানে $w_t$ হলো পদক্ষেপ $t$-তে weight-এর মান, $g_t$ হলো সেই পদক্ষেপে হিসাব করা gradient, আর $\eta$ হলো learning rate। এখানে আগের পদক্ষেপের কোনো স্মৃতিই নেই — প্রতিটা আপডেট শুধু বর্তমান gradient-এর উপর নির্ভর করে।

Momentum

Momentum SGD-এর স্মৃতির অভাব ঠিক করে সাম্প্রতিক gradient-এর একটা চলমান গড় রেখে, আর সেই গড়টা — শুধু বর্তমান gradient না — weight আপডেট করতে ব্যবহার করে।

$$v_{t+1} = \beta v_t + (1 - \beta) g_t \\ w_{t+1} = w_t - \eta \cdot v_{t+1}$$

এখানে $v_t$ হলো "ভেলোসিটি" — অতীত gradient-এর একটা চলমান, এক্সপোনেনশিয়ালি-ওয়েটেড গড় — আর $\beta$ (সাধারণত ০.৯-এর কাছাকাছি) নিয়ন্ত্রণ করে অতীত gradient বর্তমান পদক্ষেপকে কতটা প্রভাবিত করতে থাকে বনাম নতুন gradient কতটা গুরুত্ব পায়। একটা উচ্চ $\beta$ মানে momentum অনেক আগের পদক্ষেপ "মনে রাখে"; একটা নিম্ন $\beta$ মানে এটা সাধারণ SGD থেকে প্রায় আলাদা না।

এটা সরাসরি SGD-এর দ্বিতীয় দুর্বলতাটা সমাধান করে: এমন একটা loss ল্যান্ডস্কেপে যা এক দিকে খাড়া আর আরেক দিকে অগভীর, খাড়া দিক জুড়ে সামনে-পেছনে নির্দেশ করা gradient চলমান গড়ে একে অপরকে বাতিল করতে থাকে, যখন অগভীর দিক জুড়ে ধারাবাহিকভাবে একই দিকে নির্দেশ করা gradient একে অপরকে শক্তিশালী করে — নেট প্রভাব হলো একটা পথ যা কম দোলে আর আসলে যে দিকটা গুরুত্বপূর্ণ সেই দিকে দ্রুত এগোয়।

RMSProp

Momentum আপডেটের দিক মসৃণ করে gradient-এর একটা চলমান গড় ব্যবহার করে। RMSProp (Root Mean Square Propagation) একটা ভিন্ন কিন্তু পরিপূরক পদ্ধতি নেয়: এটা প্রতিটা সিঙ্গেল weight-এর জন্য আলাদাভাবে কার্যকর learning rate অভিযোজিত করে, সেই weight-এর সাম্প্রতিক gradient সাধারণত কতটা বড় ছিল তার উপর ভিত্তি করে।

$$s_{t+1} = \beta s_t + (1 - \beta) g_t^2 \\ w_{t+1} = w_t - \frac{\eta}{\sqrt{s_{t+1}} + \epsilon} \cdot g_t$$

এখানে $s_t$ হলো বর্গ করা gradient-এর একটা চলমান গড় (সবসময় পজিটিভ, দিকের বদলে gradient-এর ম্যাগনিটিউড ট্র্যাক করে), আর $\epsilon$ হলো একটা ক্ষুদ্র ধ্রুবক যা শুধু শূন্য দিয়ে ভাগ এড়াতে যোগ করা। মূল আইডিয়া: learning rate-কে $\sqrt{s_{t+1}}$ দিয়ে ভাগ করলে এমন weight-এর জন্য কার্যকর পদক্ষেপ সাইজ ছোট হয়ে যায় যাদের সাম্প্রতিক gradient বড় ছিল, আর এমন weight-এর জন্য কার্যকর পদক্ষেপ সাইজ বাড়ে যাদের সাম্প্রতিক gradient ছোট ছিল।

Adam

Adam (Adaptive Moment Estimation) momentum-এর gradient-এর একটা চলমান গড় ট্র্যাক করার আইডিয়াকে RMSProp-এর প্রতি-weight পদক্ষেপ সাইজ অভিযোজিত করার আইডিয়ার সাথে মেলায় — বাস্তবে এটাকে আজকের deep learning-এ সবচেয়ে ব্যাপকভাবে ব্যবহৃত optimizer বানিয়ে দেয়।

$$m_{t+1} = \beta_1 m_t + (1 - \beta_1) g_t \\ v_{t+1} = \beta_2 v_t + (1 - \beta_2) g_t^2 \\ w_{t+1} = w_t - \frac{\eta}{\sqrt{v_{t+1}} + \epsilon} \cdot m_{t+1}$$

এখানে $m_t$ momentum-এর ভেলোসিটির মতো একই ভূমিকা পালন করে — নিজে gradient-এর একটা চলমান গড় — আর $v_t$ RMSProp-এর $s_t$-এর মতো একই ভূমিকা পালন করে — বর্গ করা gradient-এর একটা চলমান গড়। Adam সাধারণত $\beta_1 \approx 0.9$ আর $\beta_2 \approx 0.999$ ব্যবহার করে। আপডেট দিকটা আসে মসৃণ করা momentum টার্ম $m_{t+1}$ থেকে, আর কার্যকর পদক্ষেপ সাইজ প্রতি weight-এ $v_{t+1}$ ব্যবহার করে অভিযোজিত হয়, ঠিক RMSProp-এর মতো।

AdamW

AdamW হলো Adam-এর একটা পরিবর্তন যা Adam আর weight decay-এর মধ্যে একটা সূক্ষ্ম কিন্তু গুরুত্বপূর্ণ ইন্টারঅ্যাকশন ঠিক করে — একটা সাধারণ regularization টেকনিক যা weight-কে খুব বড় হতে নিরুৎসাহিত করে, যা overfitting প্রতিরোধ করতে সাহায্য করে।

Weight decay কাজ করে প্রতিটা weight-এর নিজের সাইজের সমানুপাতিক একটা ছোট শাস্তি সরাসরি আপডেটে যোগ করে, gradient যা করতে বলে তার পাশাপাশি প্রতিটা পদক্ষেপে আলতোভাবে প্রতিটা weight-কে শূন্যের দিকে টেনে। সাধারণ SGD-তে, এটা সঠিকভাবে যোগ করা সরল। মূল Adam-এ, তবে, SGD-এর মতো একই পদ্ধতিতে গাণিতিকভাবে weight decay যোগ করলে এমন একটা আপডেট তৈরি হয় যা RMSProp থেকে Adam-এর প্রতি-weight অভিযোজিত স্কেলিংয়ের সাথে অস্বস্তিকরভাবে ইন্টারঅ্যাক্ট করে — decay অনিচ্ছাকৃতভাবে একই $\sqrt{v_{t+1}}$ টার্ম দিয়ে স্কেল হয়ে যায় যা gradient পদক্ষেপ অভিযোজিত করার জন্য, decay পদক্ষেপের জন্য না।

$$w_{t+1} = w_t - \eta \cdot \frac{m_{t+1}}{\sqrt{v_{t+1}} + \epsilon} - \eta \cdot \lambda \cdot w_t$$

AdamW-এর সমাধান হলো weight decay টার্মকে (যেখানে $\lambda$ decay-এর শক্তি নিয়ন্ত্রণ করে) Adam-এর অভিযোজিত gradient স্কেলিং থেকে "ডিকাপল" করা — decay নিজস্ব আলাদা, সরল বিয়োগ হিসেবে প্রয়োগ হয়, gradient নিজের মতো একই অভিযোজিতভাবে-স্কেল করা টার্মে মেশানো না।

এই সমাধানটা বাস্তবে যথেষ্ট গুরুত্বপূর্ণ যে AdamW অনেক আধুনিক ট্রেনিং সেটআপে সাধারণ Adam-এর জায়গায় বেশিরভাগ ক্ষেত্রে ডিফল্ট পছন্দ হয়ে উঠেছে, বিশেষ করে বড় মডেলের জন্য যেখানে overfitting প্রতিরোধে regularization একটা গুরুত্বপূর্ণ ভূমিকা পালন করে।

একটা Optimizer বেছে নেওয়া

এখন টেবিলে বেশ কয়েকটা optimizer থাকায়, একটা নির্দিষ্ট প্রবলেমের জন্য একটা বেছে নেওয়া কয়েকটা ব্যবহারিক বিবেচনায় নেমে আসে।

Summary