Advanced Architectures

भूमिका (Motivation)

TensorFlow/Keras চ্যাপ্টারে আমরা বাইডাইরেকশনাল (Bidirectional) এবং স্ট্যাকড (Stacked) LSTM সম্পর্কে জেনেছিলাম। এই চ্যাপ্টারে আমরা LSTM সেলের ওপর ভিত্তি করে তৈরি বাকি প্রধান আর্কিটেকচারাল আইডিয়াগুলো নিয়ে আলোচনা করবো: সিকোয়েন্স-টু-সিকোয়েন্স (Seq2Seq) মডেল, অ্যাটেনশন মেকানিজম (attention mechanism), জিআরইউ (GRU) বিকল্প এবং আধুনিক যুগের ট্রান্সফরমার (Transformer) আর্কিটেকচারের সাথে এর একটি ধারণাগত তুলনা (যা পূর্বে LSTM-এর করা অধিকাংশ কাজই এখন দখল করে নিয়েছে)।

সিকোয়েন্স-টু-সিকোয়েন্স (Seq2Seq) মডেল

বাস্তব জীবনের অনেক কাজই একটি সিকোয়েন্সকে সম্পূর্ণ ভিন্ন দৈর্ঘ্যের আরেকটি সিকোয়েন্সে রূপান্তর করে — যেমন: এক ভাষা থেকে অন্য ভাষায় অনুবাদ করা (translation), দীর্ঘ ডকুমেন্টের সারসংক্ষেপ তৈরি করা (summarization), কিংবা অডিও কথাকে টেক্সটে রূপান্তর করা। একটি সাধারণ LSTM-এর ইনপুট ও আউটপুট ওয়ান-টু-ওয়ান (one-to-one) সারিবদ্ধ থাকে — অর্থাৎ এটি ভিন্ন দৈর্ঘ্যের ইনপুট ও আউটপুট সিকোয়েন্স সহজে হ্যান্ডেল করতে পারে না।

Seq2Seq এই সমস্যার সমাধান করে দুটি আলাদা LSTM ব্যবহার করে:

from tensorflow import keras
from tensorflow.keras import layers
 
n_x, n_h = 12, 16
 
# এনকোডার (Encoder)
encoder_inputs = keras.Input(shape=(None, n_x))
encoder_lstm   = layers.LSTM(n_h, return_state=True)
_, state_h, state_c = encoder_lstm(encoder_inputs)   # আউটপুট ফেলে দিয়ে কেবল চূড়ান্ত স্টেট রাখা হচ্ছে
encoder_states  = [state_h, state_c]
 
# ডিকোডার (Decoder)
decoder_inputs  = keras.Input(shape=(None, n_x))
decoder_lstm    = layers.LSTM(n_h, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=encoder_states)
decoder_dense   = layers.Dense(n_x, activation="softmax")
decoder_outputs = decoder_dense(decoder_outputs)
 
model = keras.Model([encoder_inputs, decoder_inputs], decoder_outputs)

অ্যাটেনশন মেকানিজম (Attention Mechanism)

অ্যাটেনশন মেকানিজম ডিকোডারকে তার প্রতি পদক্ষেপে কেবল শেষ স্টেটটির ওপর নির্ভর না করে এনকোডারের প্রতিটি হিডেন স্টেটকে সরাসরি দেখার সুযোগ করে দেয়। একটি একক সংকুচিত সারসংক্ষেপের ওপর ভরসা করার বদলে ডিকোডার নিজে নিজে শিখে নেয় যে আউটপুট তৈরি করার সময় ইনপুটের ঠিক কোন কোন অংশে বেশি মনোযোগ (attention) দিতে হবে।

অ্যাটেনশন মেকানিজম দীর্ঘ বাক্যের অনুবাদের মানকে নাটকীয়ভাবে উন্নত করেছে এবং এটিই পরবর্তী সময়ে ট্রান্সফরমার (Transformer) আর্কিটেকচারের মূল ভিত্তি হিসেবে কাজ করেছে।

গেটেড রিক্যারেন্ট ইউনিট (Gated Recurrent Unit - GRU)

২০১৪ সালে চো (Cho) প্রবর্তিত GRU আর্কিটেকচারটি মূলত LSTM-এর ফরগেট গেট ও ইনপুট গেটকে একত্রিত করে একটি একক আপডেট গেট (update gate) তৈরি করে এবং সেল স্টেট ও হিডেন স্টেটকে মিলিয়ে একটি একক স্টেট বানায়। এর ফলে প্যারামিটার সংখ্যা উল্লেখযোগ্যভাবে কমে যায় অথচ কাজের দক্ষতা প্রায় LSTM-এর কাছাকাছিই থাকে।

# Keras-এ GRU ব্যবহার করা — একদম LSTM-এর মতোই
model = keras.Sequential([
    layers.Input(shape=(20, 64)),
    layers.GRU(32, return_sequences=True),
    layers.GRU(16),
    layers.Dense(1),
])
model.summary()

LSTM বনাম ট্রান্সফরমার (LSTM vs Transformers)

ট্রান্সফরমার (Vaswani et al., 2017) হলো BERT, GPT এবং আধুনিক সময়ের প্রায় সব বড় বড় লার্জ ল্যাঙ্গুয়েজ মডেলের (LLMs) পেছনের মূল আর্কিটেকচার। এদের মধ্যকার পার্থক্য জানলে আপনি বুঝতে পারবেন কখন কোনটি ব্যবহার করা উচিত।

মূল বিষয়গুলো (Key Takeaways)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তব প্র্যাকটিসে এর ভূমিকা

এই চ্যাপ্টারের আর্কিটেকচারগুলো — Seq2Seq, attention, GRU — আপনারা মেশিন লার্নিংয়ের বাস্তব বিভিন্ন পেপার ও প্রজেক্টে প্রতিনিয়ত দেখতে পাবেন। মেশিন ট্রান্সলেশন, স্পিচ রিকগনিশন, অ্যাক্টিভিটি ডিটেকশন কিংবা রিয়েল-টাইম অ্যানোমালি ডিটেকশন প্রজেক্টগুলো সরাসরি এই চ্যাপ্টারের ধারণার ওপর ভিত্তি করেই তৈরি করা হয়।