What Are Hyperparameters?

ভূমিকা

কল্পনা করুন — আপনি এবং আপনার বন্ধু দুজনেই একই algorithm, একই dataset দিয়ে একটা machine learning model বানালেন। কিন্তু বন্ধুর accuracy আপনার চেয়ে ১২ পয়েন্ট বেশি। কী করল সে আলাদা? Data বদলায়নি। Algorithm বদলায়নি। শুধু বদলেছে — train করার আগে model-কে দেওয়া কিছু সেটিং।

এই সেটিংগুলোর নাম hyperparameter। আর এগুলো ঠিকমতো বেছে নেওয়াই — যাকে বলা হয় hyperparameter optimization (HPO) — প্রায়ই ঠিক করে দেয় যে একটা model শুধু demo-তে চলবে নাকি সত্যিকারের production-এ কাজে লাগবে। এই পুরো course-টাই সেই ব্যবধানটা নিয়ে — hyperparameter কী, কেন এত গুরুত্বপূর্ণ, আর কীভাবে ভালো মান খুঁজে বের করতে হয়।

রুটি বানানোর গল্প

কোনো equation-এ ঢোকার আগে একটু ভাবুন — রুটি বানানোর কথা। Recipe বলে দেয় ময়দা আর পানির অনুপাত, কিন্তু বলে না আপনার ওভেনের তাপমাত্রা কত হওয়া উচিত, বা আপনার রান্নাঘর যদি বেশি ঠান্ডা হয় তাহলে খামির কতটুকু দিতে হবে। ওভেনে ঢুকে গেলে আর কিছু বদলানো যায় না। ভুল বেছে নিলে রুটি চ্যাপ্টা, পোড়া, বা raw হবে — আটার মান যতই ভালো হোক।

Machine learning model train করাটা ঠিক এরকমই। একটাও training example দেখার আগে আপনাকে বেছে নিতে হয়: model কত দ্রুত শিখবে, কতটা জটিল হতে পারবে, কতবার data দেখবে। এই সিদ্ধান্তগুলোকেই বলে hyperparameter — আর এগুলো বুদ্ধিমত্তার সাথে বেছে নেওয়ার প্রক্রিয়াটাই হলো hyperparameter optimization।

Parameter বনাম Hyperparameter

Hyperparameter ঠিকমতো বুঝতে হলে আগে বুঝতে হবে এটা কী নয়। সবচেয়ে সহজ model ধরুন — linear regression:

$\hat{y} = wx + b$

এখানে $w$ (slope) আর $b$ (intercept) হলো model parameter। এগুলো কেউ হাতে বসায় না — algorithm নিজেই gradient descent দিয়ে খুঁজে বের করে যে কোন $w$ আর $b$-তে prediction সবচেয়ে কাছাকাছি হয়।

এখন ধরুন আমরা ridge regression ব্যবহার করছি, যেটা বড় weight-এ জরিমানা করে:

$\mathcal{L}(w, b) = \underbrace{\sum_{i=1}^{n} (y_i - (wx_i + b))^2}_{\text{data-র সাথে মিল}} \;+\; \underbrace{\lambda w^2}_{\text{জরিমানা}}$

এখানে $\lambda$ (lambda) নিয়ন্ত্রণ করে জরিমানাটা কতটা কড়া হবে। কিন্তু $\lambda$ training-এর সময় শেখা যায় না। যদি algorithm-কে training loss minimize করে $\lambda$ বেছে নিতে দেওয়া হয়, সে সবসময় $\lambda = 0$ বেছে নেবে — কারণ যেকোনো জরিমানাই training loss বাড়ায়। তাই $\lambda$-কে বাইরে থেকে, training-এর আগে বেছে নিতে হয়। $\lambda$ হলো একটা hyperparameter।

নেস্টেড Optimization-এর গল্প

আনুষ্ঠানিকভাবে বলতে গেলে, যদি $\theta$ মানে model parameter আর $\lambda$ মানে hyperparameter, তাহলে training মানে হলো:

$\theta^*(\lambda) = \arg\min_{\theta} \; \mathcal{L}_{\text{train}}(\theta; \lambda)$

একটা নির্দিষ্ট $\lambda$-র জন্য সেরা $\theta$ খোঁজা। আর hyperparameter optimization হলো বাইরের প্রক্রিয়া:

$\lambda^* = \arg\min_{\lambda} \; \mathcal{L}_{\text{val}}\big(\theta^*(\lambda)\big)$

এই দুটো মিলে তৈরি হয় একটা bilevel optimization problem — ভেতরের loop model train করে, বাইরের loop validation performance দেখে configuration খোঁজে। এই nested structure-এর কারণেই HPO এত ব্যয়বহুল: প্রতিটা $\lambda$ test করতে গেলে পুরো training আবার শুরু থেকে করতে হয়।

কেন আসলেই গুরুত্বপূর্ণ

Hyperparameter-কে ছোট implementation detail ভাবা লোভনীয়। বাস্তবে এগুলো প্রায়ই ঠিক করে দেয় project সফল হবে না ব্যর্থ।

Neural network-এ learning rate। Learning rate নিয়ন্ত্রণ করে weight update করার সময় প্রতিটা পদক্ষেপ কতটা বড় হবে। খুব বেশি হলে: loss ঘুরতে থাকে বা diverge করে। খুব কম হলে: এত ধীরে converge করে যে computing budget শেষ হয়ে যায়। ঠিকমতো বেছে নিলে: দ্রুত ও স্থিরভাবে converge করে। একই data, একই architecture, একই epoch — কিন্তু একটা সংখ্যার কারণে তিনটা সম্পূর্ণ আলাদা ফলাফল।

Decision tree-এ depth। Unlimited depth দিলে tree training data মুখস্থ করে ফেলে — training accuracy প্রায় perfect, কিন্তু নতুন data-তে ফেল। Depth সীমিত করা একটা hyperparameter decision যা সরাসরি training accuracy আর generalization-এর মধ্যে ট্রেড-অফ তৈরি করে।

Regularization strength। Ridge regression-এ $\lambda = 0$ দিলে plain linear regression হয়ে যায় — noisy data-তে overfit করে। $\lambda$ অনেক বেশি হলে penalty এত বড় হয় যে model সব input-এর জন্য একই prediction করে। মাঝখানে কোথাও আছে সঠিক $\lambda$ — আর সেটা খুঁজে বের করাই HPO।

হাতে করা বনাম স্বয়ংক্রিয় Tuning

ঐতিহাসিকভাবে বেশিরভাগ practitioner manually tune করত: একটা মান বেছে নাও, train করো, validation score দেখো, intuition দিয়ে adjust করো, আবার করো। এর সুবিধা আছে — domain expertise কাজে লাগানো যায়, স্পষ্ট বাজে range বাদ দেওয়া যায়। কিন্তু সীমাবদ্ধতাও আছে।

সেরা ফলাফল সাধারণত দুটোর মিশেলে আসে: domain expertise দিয়ে search space সংকুচিত করো, আর automated algorithm দিয়ে সেই space efficiently explore করো।

বাস্তব জীবনে কোথায় দেখা যায়

Fraud detection। ব্যাংকের gradient boosted tree model-এ tree depth, learning rate, আর boosting round-এর মতো hyperparameter শুধু accuracy নয়, একটা business-driven metric-এর জন্য tune করতে হয়।

Medical imaging। X-ray থেকে রোগ ধরার CNN অত্যন্ত sensitive — learning rate schedule বা data augmentation strength একটু বেশি হলে model রোগের আসল লক্ষণ বাদ দিয়ে hospital-specific artifact মুখস্থ করে ফেলে।

Recommender system। Latent factor-এর dimension আর regularization strength সরাসরি ঠিক করে দেয় system সত্যিকারের relevant জিনিস suggest করবে নাকি মুষ্টিমেয় active user-এর দিকে ঝুঁকবে।

এই উদাহরণগুলো থেকে একটাই শিক্ষা: hyperparameter হলো model development-এর পরে যোগ করা কিছু নয়। "ভালো model" বলতে কী বোঝায় — accuracy, latency, fairness, robustness — সেটাই HPO-কে বলে দিতে হয়। Hyperparameter আর objective অবিচ্ছেদ্য।

মূল বিষয়গুলো

সাধারণ ভুল

Interview Corner

বাস্তবে কোথায় লাগে

State-of-the-art ফলাফল রিপোর্ট করা প্রায় প্রতিটা machine learning paper-এ hyperparameter search থাকে — প্রায়ই appendix-এ। Default hyperparameter দিয়ে চালানো model আর ভালোভাবে tune করা একই model-এর ব্যবধান অনেক সময় সম্পূর্ণ আলাদা architecture-এর চেয়েও বড়। HPO বোঝাটা nice-to-have দক্ষতা নয় — ML সিরিয়াসলি করার একটা মৌলিক অংশ।