Sequence Learning

ভূমিকা (Motivation)

একটি LSTM মডেল তৈরি করার আগে আপনাকে জানতে হবে এটি ঠিক কী ধরণের ডেটার জন্য ডিজাইন করা হয়েছে। আমাদের আশেপাশের সব ডেটাই কিন্তু সিকোয়েন্সিয়াল (sequential) নয় — তবে বাস্তব জগতের একটা বিশাল অংশের সমস্যা আসলে সিকোয়েন্সিয়াল। আর সিকোয়েন্সিয়াল ডেটার এমন কিছু বিশেষ বৈশিষ্ট্য আছে যার কারণে প্রথাগত বা সাধারণ মেশিন লার্নিং (ML) পদ্ধতিগুলো এমন কিছু সূক্ষ্ম উপায়ে ব্যর্থ হয় যা সহজে ধরা বা শনাক্ত করা যায় না।

সিকোয়েন্সিয়াল ডেটা আসলে কী? (What Makes Data Sequential?)

সিকোয়েন্সিয়াল ডেটা (Sequential data) হলো এমন ডেটা যেখানে উপাদানগুলোর ক্রম বা সাজানোর নিয়ম (order) অত্যন্ত অর্থবহ এবং প্রতিটি উপাদানের অর্থ তার আগে কী এসেছিল তার ওপর নির্ভর করে।

ট্যাবুলার বা টেবিল আকারের ডেটাসেটের সাথে এর তুলনা করা যাক — যেমন কোনো বাড়ির দামের ডেটা, যেখানে বাড়ির আয়তন, বেডরুমের সংখ্যা এবং লোকেশন ইত্যাদি কলাম বা ফিচার রয়েছে। আপনি যদি এই টেবিলের রোগুলোকে (rows) এলোমেলো (shuffle) করে দেন, তবুও প্রতিটি রো-এর ভেতরের তথ্যের অর্থ কিন্তু একই থাকবে। এবার নিচের বাক্যটি লক্ষ্য করুন:

"The bank raised interest rates." (ব্যাংক সুদের হার বাড়িয়েছে।)

এখন এই বাক্যের শব্দগুলোকে যদি আমরা এলোমেলো করে দিই:

"Rates the bank interest raised."

এখানে ব্যবহৃত শব্দগুলো কিন্তু একদম হুবহু আগের মতোই আছে; কিন্তু এর অর্থটি হারিয়ে গেছে। দ্বিতীয় বাক্যটি পুরোপুরি অর্থহীন। সিকোয়েন্সিয়াল ডেটার ক্ষেত্রে শব্দের বা তথ্যের ক্রমটি কোনো আনুষঙ্গিক বিষয় নয় — এটিই আসলে তথ্যের মূল অংশ।

সিকোয়েন্সিয়াল ডেটার দুটি প্রধান পরিবার (Two Major Families of Sequential Data)

টাইম সিরিজ (Time Series)

টাইম সিরিজ হলো সময়ের ক্রমানুসারে সাজানো কিছু সংখ্যার পর্যবেক্ষণ — যেমন: প্রতিদিনের তাপমাত্রা, প্রতি ঘণ্টার বিদ্যুতের চাহিদা, কিংবা প্রতি মিনিটের শেয়ার বাজারের দর। এগুলোর মধ্যে প্রায়ই ট্রেন্ড (trend) (সময়ের সাথে সাথে দীর্ঘস্থায়ী উর্ধ্বমুখী বা নিম্নমুখী প্রবণতা), সিজনালিটি (seasonality) (নির্দিষ্ট সময় পর পর ফিরে আসা চক্র — যেমন প্রতিদিন, প্রতি সপ্তাহে বা প্রতি বছর) এবং নয়েজ (noise) (হঠাৎ ঘটে যাওয়া অনাকাঙ্ক্ষিত উঠানামা যা অনুমান করা যায় না) দেখতে পাওয়া যায়। একটি LSTM মডেলকে এই নয়েজের ভিড় থেকে আসল সিগন্যালটি খুঁজে বের করতে শিখতে হয়, আর একারণেই ডেটা প্রিপারেশন (data preparation) চ্যাপ্টারটি অত্যন্ত গুরুত্বপূর্ণ।

ন্যাচারাল ল্যাঙ্গুয়েজ (Natural Language)

টেক্সট বা আমাদের মুখের ভাষাও সিকোয়েন্সিয়াল, কিন্তু এটি কন্টিনিউয়াস সংখ্যার বদলে ডিসক্রিট (discrete) বা আলাদা আলাদা উপাদান নিয়ে গঠিত: এটি মূলত একটি নির্দিষ্ট শব্দভাণ্ডার (vocabulary) থেকে নেওয়া টোকেন (tokens)-এর ক্রম, কন্টিনিউয়াস স্কেলের কোনো বিন্দু নয়।

একটি সিকোয়েন্স মডেল যে ক্ষুদ্রতম অংশ বা উপাদানকে একটি একক আইটেম বা জিনিস হিসেবে প্রসেস করে, তাকেই টোকেন (token) বলে। টোকেনাইজার (tokenizer)-এর ওপর ভিত্তি করে এটি একটি পুরো শব্দ ("bank"), একটি সাব-ওয়ার্ড বা শব্দের অংশ (যেমন "bank", "ing"), কিংবা একটি একক ক্যারেক্টার বা অক্ষরও হতে পারে।

সিকোয়েন্সকে সংখ্যায় রূপান্তর করা (Representing Sequences Numerically)

নিউরাল নেটওয়ার্ক কেবল সংখ্যার হিসাব বোঝে, শব্দের নয়। তাই raw টেক্সট থেকে এমন কিছু তৈরি করা যা একটি LSTM প্রসেস করতে পারে, তার জন্য মূলত দুটি ধাপ রয়েছে:

এমবেডিং (Embedding) আসলে কী?

এমবেডিং হলো একটি ডিসক্রিট টোকেনের জন্য শেখা (learned), ডেন্স এবং ফিক্সড-দৈর্ঘ্যের ভেক্টর রিপ্রেজেন্টেশন। ট্রেনিং প্রসেসের সময় এই ভেক্টরগুলো নেটওয়ার্কের অন্য সব প্যারামিটারের সাথে সাথেই শেখা হয়, যাতে একই রকম অর্থ বা ব্যবহার সম্পন্ন টোকেনগুলো ভেক্টর স্পেসে জ্যামিতিকভাবে কাছাকাছি চলে আসে।

উদাহরণস্বরূপ, "Bank" (ব্যাংক) এবং "lender" (ঋণদাতা) শব্দ দুটির ভেক্টর কাছাকাছি অবস্থান করবে; কিন্তু "bank" এবং "banana" (কলা) শব্দ দুটির ভেক্টর অনেক দূরে চলে যাবে। এটি নেটওয়ার্কের জেনারালাইজেশন বা সাধারণীকরণে চমৎকার সাহায্য করে: নেটওয়ার্ক যদি "bank" সম্পর্কে নতুন কিছু শেখে, তবে ভেক্টর কাছাকাছি থাকার কারণে সেই জ্ঞানের কিছু অংশ স্বয়ংক্রিয়ভাবে "lender"-এর জন্যও প্রযোজ্য হয়ে যায়।

স্লাইডিং উইন্ডো (Sliding Windows): সিকোয়েন্স থেকে ট্রেনিং উদাহরণ তৈরি করা

একটি দীর্ঘ সিকোয়েন্স সরাসরি ট্রেনিংয়ের উদাহরণ হিসেবে ব্যবহার করা যায় না। আমরা এটিকে একটি স্লাইডিং উইন্ডো (sliding window) ব্যবহার করে অনেকগুলো নির্দিষ্ট দৈর্ঘ্যের ছোট ছোট উদাহরণে রূপান্তর করি: $w$ দৈর্ঘ্যের একটি উইন্ডো সিকোয়েন্সের ওপর দিয়ে এক ধাপ করে স্লাইড করে যায় এবং প্রতিবার একটি (input, target) জোড়া তৈরি করে।

উদাহরণ: ধরা যাক একটি সিকোয়েন্স $[10, 12, 13, 15, 14, 16]$ এবং উইন্ডো সাইজ $w = 3$, যেখানে আমরা পরবর্তী মানটি প্রেডিক্ট করতে চাই:

এভাবেই একটি দীর্ঘ টাইম সিরিজ ডেটা থেকে LSTM-এর জন্য হাজার হাজার সুপারভাইজড ট্রেনিং উদাহরণ তৈরি করা হয় এবং একটি ট্রেন করা LSTM ইনফ্যারেন্স বা প্রেডিকশনের সময় ক্রমানুসারে একের পর এক মাল্টি-স্টেপ পূর্বাভাস দিতে পারে।

ইনপুট-আউটপুট শেপ দিয়ে সিকোয়েন্স প্রবলেমের প্রকারভেদ

সিকোয়েন্স মডেলিং করার সময় সবচেয়ে ভালো একটি অভ্যাস হলো আপনার কাজটিকে তার ইনপুট ও আউটপুটের শেপ (shape) বা প্যাটার্ন দিয়ে ক্লাসিফাই করা:

কোড এডিটর খোলার আগেই নিজের প্রবলেমের শেপটি চিনে নেওয়া আপনাকে অনেক বড় বড় ভুল ডিজাইন করা থেকে বাঁচাবে।

মূল বিষয়গুলো (Key Takeaways)

ইন্টারভিউ কর্নার (Interview Corner)

বাস্তব প্র্যাকটিসে এর ভূমিকা

এই চ্যাপ্টারের সবকিছুই — টোকেনাইজেশন, এমবেডিং, স্লাইডিং উইন্ডো এবং প্রবলেম শেপ — ডেটা প্রিপারেশন এবং বিল্ডিং এলএসটিএম চ্যাপ্টারগুলোতে সরাসরি কোড আকারে আসবে। এগুলো এখন বুঝে রাখার অর্থ হলো কোড করার সময় প্রতিটি প্রি-প্রসেসিং লাইনের পেছনের আসল কারণটি আপনি নিজে থেকেই জানবেন, কেবল কপি-পেস্ট করতে হবে না।