The Training Pipeline

ভূমিকা (Motivation)

আগের চ্যাপ্টারগুলোর প্রতিটিতে আমরা একটি CNN-এর আলাদা আলাদা অংশকে এককভাবে পরীক্ষা করেছি — একটি কনভোলিউশন লেয়ার, একটি অ্যাক্টিভেশন ফাংশন, একটি লস এবং একটি অপ্টিমাইজার। তবে এর কোনো একটি অংশও একা একা মডেলকে ট্রেইন করতে পারে না। এরা তখনই একটি কার্যকরী সিস্টেমে পরিণত হয় যখন এদের একটি পুনরাবৃত্তিমূলক লুপে (repeating loop) জুড়ে দেওয়া হয়: ডেটা ফিড করা, প্রেডিকশন বা অনুমান করা, ভুলের পরিমাপ বা লস হিসাব করা, ভুলটিকে ব্যাকপ্রোপাগেশনের মাধ্যমে পেছনের দিকে প্রবাহিত করা, ওজনকে সামান্য পরিবর্তন করা এবং এর পুনরাবৃত্তি করা — সম্পূর্ণ ডেটাসেট জুড়ে লক্ষ লক্ষ বার, অনেকগুলো ইপক (epochs) ধরে।

এই চ্যাপ্টারটি মূলত সেই জুড়ে দেওয়ার কাজ বা ওয়ারিং (wiring) নিয়ে। এখানে নতুন কোনো গণিতের চেয়ে সঠিক ইঞ্জিনিয়ারিংয়ের ওপর বেশি জোর দেওয়া হয়েছে: কোন ডেটা কখন কোথায় যাবে, কোন সিকোয়েন্সে যাবে এবং কেন এই ক্রম সামান্য পরিবর্তন করলেও তা পুরো পাইপলাইনের পরিশ্রম ও ফলাফলকে নিঃশব্দে নষ্ট করে দেবে।

একটি বাস্তব জীবনের উদাহরণ (A Real-Life Scenario)

তিনটি সম্পূর্ণ আলাদা প্র্যাকটিস কোশ্চেনের সেট ব্যবহার করে একজন ছাত্রকে চূড়ান্ত পরীক্ষার জন্য প্রস্তুত করার কথা ভাবুন। প্রথম সেটটি দেখে ছাত্রটি সরাসরি পড়াশোনা করে — সে সঠিক উত্তর দেখে, ভুলগুলো নিয়ে কাজ করে এবং বিষয়গুলো শেখে। দ্বিতীয় সেটটি শুধুমাত্র ছাত্রটি কেমন পড়াশোনা করছে তা মাঝপথে যাচাই করার জন্য ব্যবহৃত হয়, যাতে সিদ্ধান্ত নেওয়া যায় কখন পড়াশোনার কৌশল পরিবর্তন করতে হবে অথবা ইতিমধ্যে আয়ত্তে আসা কোনো বিষয়ের পড়াশোনা বন্ধ করতে হবে — কিন্তু ছাত্রটিকে এই সেটের প্রশ্নগুলো মুখস্থ করার সুযোগ দেওয়া হয় না। আর তৃতীয় সেটটি চূড়ান্ত পরীক্ষার দিন পর্যন্ত একদম তালাবদ্ধ করে রাখা হয় এবং শেষমেশ মাত্র একবার ব্যবহার করা হয় ছাত্রটির একটি সৎ ও চূড়ান্ত গ্রেড দেওয়ার জন্য। যদি তৃতীয় সেটের কোনো প্রশ্ন প্রথম দুটি সেটের মধ্যে লিক বা প্রকাশ হয়ে যায়, তবে চূড়ান্ত গ্রেডটি সম্পূর্ণ অর্থহীন হয়ে পড়বে — যা প্রকৃত বোঝার বদলে মুখস্থ করার কারণে অনেক বেশি দেখাবে। একটি CNN-এর training set, validation set এবং test set play বা এই তিনটি ভূমিকা পালন করে, এবং এদের একে অপরের থেকে আলাদা রাখার নিয়মটি কোনো ঐচ্ছিক বিষয় নয়।

মূল ধারণা তৈরি করা (Building the Intuition)

• ট্রেনিং পাইপলাইন একটি অবিরাম লুপ, কোনো একক হিসাব বা ওয়ান-শট কম্পিউটেশন নয় — চ্যাপ্টার ৮ থেকে ১৩ পর্যন্ত যা কিছু আমরা শিখেছি তার প্রতিটিই মূলত এই লুপের একটিমাত্র ইটারেশন বা চক্রের ভেতরে ঘটে এবং বহুবার পুনরাবৃত্ত হয়।
• ডেটা নেটওয়ার্কে পৌঁছানোর আগেই সেটিকে প্রস্তুত করতে হয় (সাইজ ঠিক করা, নরমালাইজ করা, অগমেন্টেশন করা) এবং ট্রেনিং শুরুর পূর্বেই ডেটাকে তিনটি সম্পূর্ণ আলাদা অংশে ভাগ করে ফেলতে হয়।
• ট্রেনিং চলার সময় ভ্যালিডেশন সেটের ওপর ভ্যালুয়েশন বা মূল্যায়ন ঘটে ট্রেনিংয়ের অগ্রগতি ট্র্যাক করার জন্য; আর টেস্ট সেটের ওপর মূল্যায়ন ঘটে একদম শেষে, হুবহু একবার।

এন্ড-টু-এন্ড ওয়ার্কফ্লো (The End-to-End Workflow)

প্রতিটিধাপের ব্যাখ্যা (Stage-by-Stage Explanation)

বাস্তব উদাহরণ: পাইপলাইনের মধ্য দিয়ে একটি ব্যাচ ট্র্যাক করা

ধরুন, একটি ট্রেনিং রান ৩২ ব্যাচ সাইজ ব্যবহার করছে, এবং ট্রেনিং সেট থেকে একটি নির্দিষ্ট ব্যাচ এসে পৌঁছাল। Preprocessing ইতিমধ্যেই প্রতিটি ছবিকে $224\times224\times3$ আকারে রিসাইজ করেছে এবং পিক্সেলের মানকে $[0,1]$ সীমার মধ্যে স্কেল করেছে; আর augmentation ৩২টি ছবির মধ্যে ১৪টি ছবিকে র্যান্ডমলি অনুভূমিকভাবে বা horizontally ফ্লিপ করেছে এবং বাকিগুলো অপরিবর্তিত রেখেছে।

ফরওয়ার্ড পাসে ৩২টি ছবিই CNN-এর মধ্য দিয়ে যায় (কনভোলিউশন, অ্যাক্টিভেশন, পুলিং, ফ্ল্যাটেন, ডেন্স — চ্যাপ্টার ৯ ও ১০-এর সবকিছু) এবং ৩২টি প্রেডিক্টেড ক্লাস-প্রোবাবিলিটি ভেক্টর তৈরি করে। লস ফাংশন (চ্যাপ্টার ১১ — ধরুন Categorical Cross-Entropy, যেহেতু এটি মাল্টি-ক্লাস) সেই ৩২টি প্রেডিকশনের সাথে ৩২টি ওয়ান-হট লেবেলের তুলনা করে এবং ব্যাচের গড় হিসেবে একটি স্কেলার লস ভ্যালু তৈরি করে।

এরপর ব্যাকপ্রোপাগেশন (চ্যাপ্টার ৮) সেই লস মানের সাপেক্ষে নেটওয়ার্কের প্রতিটি ওজনের গ্রেডিয়েন্ট ক্যালকুলেট করে — যা ডেন্স লেয়ার, ফ্ল্যাটেন, পুলিং, অ্যাক্টিভেশন ও কনভোলিউশন লেয়ার পেরিয়ে একদম উল্টো ক্রমানুসারে পেছনের দিকে ধাবিত হয়। সবশেষে অপ্টিমাইজার (চ্যাপ্টার ১২ — ধরুন Adam) সেই গ্রেডিয়েন্টগুলো ব্যবহার করে প্রতিটি ওজনকে সামান্য আপডেট করে। এটিই হলো একটি ট্রেনিং স্টেপ (training step)। ট্রেনিং সেটের সবগুলো ব্যাচ এভাবে রান করার পর একটি ইপক সম্পন্ন হয়; ভ্যালিডেশন সেটের পারফরম্যান্স ভালো হওয়া বন্ধ না হওয়া পর্যন্ত ইপকের পুনরাবৃত্তি করা হয় এবং এভাবে ট্রেনিং শেষ হয় — যার পর সম্পূর্ণ আলাদা করে রাখা টেস্ট সেটের ওপর চূড়ান্ত মূল্যায়ন বা evaluation করা হয়।

কোড ইমপ্লিমেন্টেশন (Implementing It)

def train_pipeline(model, optimizer, loss_fn, train_loader, val_loader, num_epochs):
    """
    High-level training loop wiring together every stage of the pipeline:
    forward pass -> loss -> backprop -> optimizer update -> per-epoch evaluation.
    """
    for epoch in range(num_epochs):
        model.set_mode("train")
        for images, labels in train_loader:
            images = augment(images)                     # data augmentation (শুধুমাত্র train সেটের জন্য)
            predictions = model.forward(images)           # forward pass
            loss = loss_fn(predictions, labels)            # compute loss
            gradients = backpropagate(loss, model)          # backward pass
            optimizer.update(model.weights, gradients)      # weight update
 
        model.set_mode("eval")                            # কোনো augmentation ও weight update হবে না
        val_loss, val_acc = evaluate(model, val_loader)
        print(f"ইপক {epoch}: val_loss={val_loss:.4f}, val_acc={val_acc:.4f}")
 
    return model
 
def final_test_evaluation(model, test_loader):
    """সব ট্রেনিং ও হাইপারপ্যারামিটার টিউনিং শেষ হওয়ার পর হুবহু একবার এটি রান করা হয়।"""
    model.set_mode("eval")
    test_loss, test_acc = evaluate(model, test_loader)
    print(f"চূড়ান্ত test_loss={test_loss:.4f}, test_acc={test_acc:.4f}")
    return test_loss, test_acc

কোডটির কয়েকটি বিশেষ দিক লক্ষ্য করুন:

• model.set_mode("eval") শুধু অগমেন্টেশন এড়ানোর চেয়েও বেশি কাজ করে — Dropout এবং Batch Normalization-এর মতো লেয়ারগুলো ট্রেনিং ও ইভালুয়েশনের সময় ভিন্নভাবে আচরণ করে, এবং মোড পরিবর্তন করতে ভুলে যাওয়া খারাপ ভ্যালিডেশন সংখ্যার একটি সাধারণ কিন্তু নিঃশব্দ কারণ।
• final_test_evaluation একটি সম্পূর্ণ আলাদা ফাংশন, যাতে কোড দেখেই খুব স্পষ্টভাবে বোঝা যায় যে এটি অন্যান্য সব সিদ্ধান্ত চূড়ান্ত হওয়ার পর একদম শেষে হুবহু একবার কল করার জন্য তৈরি হয়েছে।

মূল বিষয়গুলো (Key Takeaways)

সাধারণ ভুল ধারণা (Common Mistakes)

Interview Corner

বাস্তবে এটি কোথায় দেখা যায় (Where This Shows Up in Practice)

প্রতিটি ডিপ লার্নিং ফ্রেমওয়ার্কের হাই-লেভেল ট্রেনিং API (যেমন PyTorch-এর ট্রেনিং লুপ, Keras-এর model.fit) এই পুরো পাইপলাইনটিকে ভেতরে ভেতরে স্বয়ংক্রিয় করে দেয়। প্রতিটি ধাপ আসলে কী করছে তা জানাই আপনাকে এমন একটি ট্রেনিং রান ডিবাগ করতে সাহায্য করে যা নিঃশব্দে ভুল আচরণ করছে — যেমন সন্দেহজনকভাবে নিখুঁত ভ্যালিডেশন অ্যাকুরেসি, প্রোডাকশন পারফরম্যান্সের সাথে না মেলা একটি টেস্ট স্কোর, অথবা এমন একটি মডেল যা চমৎকারভাবে ট্রেইন হয় কিন্তু খারাপভাবে জেনারেলাইজ করে — পুরো পাইপলাইনটিকে একটি অস্বচ্ছ ব্ল্যাক বক্স হিসেবে না দেখে।