Parameters vs Hyperparameters

Parameters কী?

ধরুন একটা মডেল বানাচ্ছেন যেটা বাসার সাইজ (স্কয়ার ফিট) দেখে দাম প্রেডিক্ট করে। সবচেয়ে সহজ ভার্সনটা দেখতে একটা সরল রেখার মতো:

$$\hat{y} = w \cdot x + b$$

এখানে $x$ হলো বাসার সাইজ, $\hat{y}$ হলো প্রেডিক্ট করা দাম, আর $w$ আর $b$ হলো দুইটা সংখ্যা যেগুলো মডেলকে ঠিকঠাক বের করতে হবে। $w$ (ওয়েট) ঠিক করে প্রতি স্কয়ার ফিটে দাম কতটা খাড়াভাবে বাড়বে, আর $b$ (বায়াস) পুরো লাইনটাকে উপরে বা নিচে সরায়। ট্রেনিং শুরুর আগে এই দুইটা সংখ্যা নেহায়েতই আন্দাজ — হয়তো দুইটাই শুরু হয় ০ দিয়ে। হাজার হাজার আসল বাসা বিক্রির ডেটার উপর ট্রেনিং করার পর $w$ আর $b$ একটা নির্দিষ্ট মানে গিয়ে থিতু হয় — ধরুন $w = 1500$ আর $b = 20000$ — কারণ এই মানগুলোই আসল ডেটার সাথে লাইনটাকে ভালোভাবে মিলিয়ে দেয়।

$w$ আর $b$ হলো parameters। একটা parameter হলো এমন একটা সংখ্যা যেটা মডেলের ভেতরেই থাকে আর মডেল নিজেই সেটা ডেটা দেখে শিখে নেয় — উদাহরণ দেখে, ভুল কমানোর দিকে নিজেকে অ্যাডজাস্ট করে। কেউ হাতে বসিয়ে দেয় না $w = 1500$ — gradient descent, backpropagation, বা যেটাই ট্রেনিং প্রসেস হোক না কেন, সেটা বারবার প্রেডিকশনকে আসল দামের সাথে মিলিয়ে দেখে আর $w$, $b$-কে এমন দিকে সরায় যেদিকে ভুল কমে, আর এভাবেই এই মানটা নিজে থেকে বের করে ফেলে।

এবার এটাকে একটা আসল নিউরাল নেটওয়ার্কে নিয়ে যান — আইডিয়াটা একই থাকে, শুধু সাইজটা বদলায়। একটা আধুনিক নিউরাল নেটওয়ার্কে লক্ষ লক্ষ বা কোটি কোটি parameter থাকতে পারে — প্রতিটা নিউরনের মধ্যকার প্রতিটা কানেকশনের ওয়েট, আর প্রতিটা নিউরনে যোগ হওয়া প্রতিটা বায়াস — আর এদের প্রত্যেকটাই এমন একটা সংখ্যা যেটা ট্রেনিং প্রসেস নিজে থেকেই টিউন করে।

একটু ভাবুন, ট্রেনিংয়ের সময় একটা parameter আসলে কীভাবে বদলায়। শুরুতে ওয়েটগুলো সাধারণত ছোট ছোট র‍্যান্ডম সংখ্যা দিয়ে শুরু হয় — মডেল আসলেই কিছু জানে না তখন। ট্রেনিং উদাহরণগুলো একে একে যাওয়ার সাথে সাথে মডেল একটা প্রেডিকশন করে, সেটাকে আসল উত্তরের সাথে মিলিয়ে দেখে, কতটা ভুল করেছে সেটা মাপে, তারপর প্রতিটা parameter-কে একটু একটু করে সেই দিকে সরায় যেদিকে সরালে ওই প্রেডিকশনটা আরেকটু কম ভুল হতো। হাজার হাজার উদাহরণ আর ডেটার উপর অনেকবার পাস করার পর, শুরুর র‍্যান্ডম সংখ্যাগুলো ধীরে ধীরে এমন মানে পৌঁছায় যেগুলো আসলেই একটা প্যাটার্ন ধরে ফেলেছে — "বড় বাসার দাম বেশি হতে থাকে" — এই জিনিসটা $w$-এর ভেতরে সংখ্যা আকারে এনকোড হয়ে যায়।

Hyperparameters কী?

এবার একটু পেছনে যান, ট্রেনিং শুরু হওয়ারও আগে। মডেল একটা বাসার দামও দেখার আগে, কাউকে — একজন মানুষ, মানে আপনাকেই — কিছু সিদ্ধান্ত নিতে হয়: এই নিউরাল নেটওয়ার্কে কয়টা হিডেন লেয়ার থাকবে? প্রতিটা লেয়ারে কয়টা নিউরন থাকবে? প্রতি স্টেপে ওয়েট কতটা দ্রুত অ্যাডজাস্ট হবে? একবার আপডেট করার আগে কয়টা উদাহরণ দেখবে?

এই প্রশ্নগুলোর কোনোটাই ট্রেনিং চলাকালীন ডেটা দেখে বের করা যায় না, যেভাবে একটা parameter শেখা হয়। এগুলো ট্রেনিং শুরু হওয়ার আগেই ঠিক করতে হয়, আর (সবচেয়ে সাধারণ সেটআপে) পুরো ট্রেনিং রানের সময় একই থাকে। এগুলোই হলো hyperparameters: এমন সেটিং যেগুলো ঠিক করে কীভাবে শেখার প্রসেসটা চলবে — এগুলো নিজে শেখার প্রসেসের মধ্য দিয়ে শেখা হয় না।

বাসার দামের উদাহরণেই ফিরে যাই, কিন্তু এবার একটা সরল রেখার বদলে একটা ছোট নিউরাল নেটওয়ার্ক ট্রেন করার কথা ভাবুন। ট্রেনিং শুরুর আগেই আপনাকে ঠিক করতে হবে যেমন:

• নেটওয়ার্কে কয়টা লেয়ার থাকবে
• প্রতিটা লেয়ারে কয়টা নিউরন থাকবে
• প্রতিটা ভুলের পর ওয়েট অ্যাডজাস্ট করার সময় কতটা বড় স্টেপ নেবে (learning rate)
• ওয়েট একবার আপডেট করার আগে কয়টা বাসার উদাহরণ দেখবে (batch size)
• পুরো ট্রেনিং ডেটার উপর মোট কতবার পাস করবে (epoch সংখ্যা)

ট্রেনিং শুরুর আগে এগুলোর যেকোনো একটা বদলালেই একটা সম্পূর্ণ ভিন্ন ট্রেনিং রান পাবেন — হয়তো মডেল দ্রুত শিখবে, ধীরে শিখবে, ভালো শিখবে, বা একদমই শিখবে না। কিন্তু এগুলোর একটাও ডেটা থেকে আবিষ্কার হয় না, যেভাবে $w$ আর $b$ হয়েছিল। আপনি, যিনি এক্সপেরিমেন্টটা সেট আপ করছেন, এগুলো বেছে নেন।

Trainable বনাম Non-Trainable

Parameter আর hyperparameter-কে চিরদিনের মতো আলাদা করার সবচেয়ে পরিষ্কার উপায় একটা প্রশ্ন: এই মানটা কে ঠিক করে, আর কখন?

আরেকভাবে দেখলে: hyperparameter হলো ট্রেনিং প্রসেসের নিয়ম, আর parameter হলো সেই নিয়ম মেনে চলার ফলাফল। Hyperparameter বদলালে পুরো ট্রেনিং প্রসেসটাই বদলে যায় — হয়তো একদম আলাদা শেখা parameter পাবেন, বা এমনও হতে পারে মডেল আসলে কিছুই শিখল না।

একটা জিনিস স্পষ্ট করে বলা দরকার: একটা hyperparameter-কে parameter-এর মতো ট্রেন করা যায় না। কোনো গ্রেডিয়েন্ট নেই যেটা বলবে "লেয়ার সংখ্যা ০.৩ বাড়াও" — লেয়ার সংখ্যা একটা ডিসক্রিট, আর্কিটেকচারাল সিদ্ধান্ত, ক্যালকুলাস দিয়ে ধীরে ধীরে সরানো যায় এমন কোনো মসৃণ সংখ্যা না। ভালো hyperparameter মান খুঁজে বের করতে হয় একদম ভিন্ন ধরনের সার্চের মাধ্যমে — যেটাই পরের টপিক।

Common Hyperparameters

বিভিন্ন ধরনের মডেলে বিভিন্ন hyperparameter থাকে, কিন্তু কয়েকটা প্রায় প্রতিটা নিউরাল নেটওয়ার্ক ট্রেন করার সময়ই বারবার দেখা যায়:

এই ছয়টা সংখ্যার একটাও কখনো gradient descent আবিষ্কার করে না। প্রত্যেকটাই একটা ডায়াল, যেটা একজন মানুষ (বা একটা স্বয়ংক্রিয় সার্চ প্রসেস) ট্রেনিং শুরুর আগে সেট করে দেয় আর সাধারণত ওই রানের জন্য আর হাত দেয় না।

Hyperparameter Tuning

যেহেতু hyperparameter স্বয়ংক্রিয়ভাবে শেখা যায় না, তাহলে এদের জন্য ভালো মান কীভাবে খুঁজে বের করবেন? এটাই hyperparameter tuning-এর কাজ (কখনো কখনো hyperparameter optimization-ও বলে): নিয়মমাফিকভাবে বিভিন্ন hyperparameter সেটিং চেষ্টা করা, প্রতিটা দিয়ে একটা মডেল ট্রেন করা, আর প্রতিটা ফলাফল মডেল কতটা ভালো পারফর্ম করছে সেটা তুলনা করা।

সবচেয়ে সরাসরি পদ্ধতি হলো manual tuning — একজন অভিজ্ঞ প্র্যাকটিশনার নিজের বোঝাপড়া আর আগের অভিজ্ঞতা থেকে একটা learning rate বেছে নেয়, মডেল ট্রেন করে, ফলাফল দেখে, আর অ্যাডজাস্ট করে। যথেষ্ট মডেল ট্রেন করলে এটা মোটামুটি ভালোই কাজ করে, কিন্তু এটা বড় স্কেলে কাজ করে না, আর এমন কম্বিনেশন মিস করে যেতে পারে যা একজন মানুষ চেষ্টাই করত না।

আরও নিয়মমাফিক পদ্ধতি সম্ভাব্য hyperparameter মানের পুরো স্পেসটা স্বয়ংক্রিয়ভাবে সার্চ করে:

যে সার্চ স্ট্র্যাটেজিই ব্যবহার করা হোক না কেন, ভেতরের ওয়ার্কফ্লোটা সবসময় একই লুপ: একটা hyperparameter সেটিং বেছে নিন → সেটা দিয়ে একটা পুরো মডেল ট্রেন করুন → সেই মডেলকে এমন ডেটার উপর যাচাই করুন যা ট্রেনিংয়ের সময় দেখেনি → কতটা ভালো করল সেটা রেকর্ড করুন → আরেকটা সেটিং চেষ্টা করুন → পুনরাবৃত্তি করুন। যে সেটিং অদেখা ডেটার উপর সবচেয়ে ভালো পারফর্মিং মডেল দেয়, সেটাই রেখে দিন।

Tuning-ও ব্যয়বহুল: প্রতিটা সম্ভাব্য hyperparameter সেটিং মানে সেটাকে যাচাই করার জন্য পুরো একটা মডেল একদম শুরু থেকে ট্রেন করা, আর বড় মডেল একবার ট্রেন করতেই ঘণ্টার পর ঘণ্টা বা দিনের পর দিন লাগতে পারে। এই কারণেই random search আর Bayesian optimization-এর মতো স্মার্ট সার্চ স্ট্র্যাটেজি গুরুত্বপূর্ণ — এগুলো চায় exhaustive grid search-এর চেয়ে অনেক কম সংখ্যক পুরো ট্রেনিং রানে ভালো সেটিং খুঁজে পেতে।

বাস্তব উদাহরণ

কয়েকটা ভিন্ন ধরনের মডেলের মধ্যে দিয়ে এই পার্থক্যটা দেখলে যেকোনো একটা উদাহরণের চেয়ে মাথায় অনেক বেশি ভালোভাবে গেঁথে যায়।

k-Nearest Neighbors-এর সারিটা একটু থেমে ভাবার মতো, কারণ এটা সত্যিকারের একটা কাজের এজ কেস: কিছু মডেলের hyperparameter আছে কিন্তু কার্যত কোনো trainable parameter নেই। k-NN আসলে "শেখে" না, ভেতরের কোনো সংখ্যা অ্যাডজাস্ট করার অর্থে — এটা শুধু ট্রেনিং ডেটা মনে রাখে, আর প্রেডিকশনের সময় সবচেয়ে কাছের $k$টা স্টোর করা উদাহরণ দেখে সিদ্ধান্ত নেয়। $k$ একটা hyperparameter, যা আপনি বেছে নেন; এর ভেতরে $w$ আর $b$-এর মতো টিউন করার কিছু নেই।

এবার একটু কাছের একটা উদাহরণে ফিরে আসি: ধরুন একটা টিম এমন একটা সিস্টেম বানাচ্ছে যেটা শিক্ষার্থীদের আগের গ্রেড আর আগ্রহ দেখে ইউনিভার্সিটি কোর্স সাজেস্ট করে। ওই সাজেশন মডেলের ভেতরের ওয়েটগুলো — "ক্যালকুলাসে ভালো করা" কতটা জোরে "লিনিয়ার অ্যালজেব্রা" সাজেস্ট করার দিকে টানে — এগুলো হলো parameter, যা মডেল হাজার হাজার আগের শিক্ষার্থীর রেকর্ড থেকে নিজে বের করে। কিন্তু কোনো ট্রেনিং শুরু হওয়ার আগেই টিমকে ঠিক করতে হয়, তাদের মডেলে কয়টা লেয়ার থাকবে, এটা কতটা দ্রুত শিখবে, আর একবার আপডেট করার আগে কয়টা শিক্ষার্থীর রেকর্ড প্রসেস করবে। Hyperparameter খারাপভাবে ভুল বসালে, একটা নিখুঁত ডেটাসেট থাকলেও এমন মডেল পাবেন না যেটা কাজের কিছু শিখেছে — parameter-গুলো সঠিক মানে পৌঁছানোর সুযোগই পায় না।

Summary