Sensitivity

যে প্রশ্নটা বাকি ছিল

আগের অধ্যায়ে আমরা ডিফারেনশিয়াল প্রাইভেসির সংজ্ঞা শিখেছিলাম — কীভাবে একটা অ্যালগরিদমের আউটপুটে নয়েজ যোগ করলে কোনো একজন মানুষের ডেটা আলাদাভাবে চেনা যায় না। আর এটাও শিখেছিলাম যে নয়েজ ঠিকমতো মাপতে হয় — কম হলে প্রাইভেসি নষ্ট, বেশি হলে আউটপুট অকেজো।

কিন্তু একটা প্রশ্নের উত্তর দেইনি: ঠিক কতটুকু নয়েজ যথেষ্ট? এই উত্তরটা নির্ভর করে একটাই জিনিসের উপর — সেনসিটিভিটি। যেকোনো প্রাইভেট মেকানিজম বানানোর আগে এটা হিসাব করতেই হবে।

এই অধ্যায়ে সেনসিটিভিটি মানে কী, কেন দরকার, কীভাবে হিসাব করতে হয়, আর ভুল হলে কী হয় — সবটা বুঝব।

গ্লোবাল সেনসিটিভিটি

ধরো তুমি একটা মেডিকেল ডেটাবেজ থেকে ব্যবহারকারীদের গড় বয়স প্রকাশ করতে চাচ্ছ। বেশিরভাগ মানুষ ৩০-৪০ বছরের। এমন সময় একজন নতুন রোগী যোগ হলো যার বয়স ১৩০ (ধরে নাও)। সেই একজনের কারণে গড়টা অনেকটা বদলে যেতে পারে। এই সর্বোচ্চ পরিবর্তনটাকেই বলা হয় গ্লোবাল সেনসিটিভিটি।

গ্লোবাল সেনসিটিভিটি বলে: সব সম্ভাব্য ডেটাসেট আর সব সম্ভাব্য এক-রেকর্ড পরিবর্তনের মধ্যে, কোয়েরির আউটপুট সবচেয়ে বেশি কতটুকু বদলাতে পারে?

গাণিতিকভাবে, ফাংশন $f: \mathcal{D} \rightarrow \mathbb{R}^k$-এর জন্য:

$$\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|$$

পড়ার উপায়: সব সম্ভাব্য neighboring dataset pair $(D, D')$ নাও — যারা ঠিক একটা রেকর্ডে আলাদা। $f$ কতটুকু বদলায় সেটা হিসাব করো। সব pair-এর মধ্যে সবচেয়ে বড় মানটাই $\Delta f$।

মূল কথা হলো এটা গ্লোবাল: আমরা জিজ্ঞেস করছি না "সাধারণত কতটুকু বদলায়?" বা "এই নির্দিষ্ট ডেটাসেটে কতটুকু বদলায়?" — জিজ্ঞেস করছি কোনো ডেটাসেটে যা-ই হোক, সবচেয়ে খারাপ ক্ষেত্রে কতটুকু বদলাতে পারে।

সবচেয়ে খারাপ কেসটা কেন ধরতে হয়?

ধরো তুমি গড় পরিবর্তনের উপর নির্ভর করে নয়েজ ঠিক করলে — সবচেয়ে খারাপ কেস না। বেশিরভাগ ডেটাসেটে ঠিকঠাক চলবে। কিন্তু একটা নির্দিষ্ট ডেটাসেটে, একজনের রেকর্ড হয়তো বিশাল পরিবর্তন আনে, আর তোমার নয়েজ যথেষ্ট না। সেই আউটপুট দেখে শত্রু কিছু সত্যি তথ্য বের করে ফেলে। DP ভেঙে পড়ে।

ডিফারেনশিয়াল প্রাইভেসির গ্যারান্টি সব neighboring dataset-এর জন্য ধরে রাখতে হবে, শুধু বেশিরভাগের জন্য না। তাই সেনসিটিভিটিকে অবশ্যই worst-case ধরতে হবে।

কিছু উদাহরণ

কাউন্টিং কোয়েরি। $f(D) = |D|$ — রেকর্ডের সংখ্যা। একটা রেকর্ড যোগ বা বাদ দিলে কাউন্ট ঠিক ১ বদলায়। গ্লোবাল সেনসিটিভিটি: $\Delta f = 1$।

সাম কোয়েরি। $f(D) = \sum_i x_i$ যেখানে প্রতিটা $x_i \in [0, M]$। একজন ঢুকলে বা বেরোলে সাম সর্বোচ্চ $M$ বদলায়। গ্লোবাল সেনসিটিভিটি: $\Delta f = M$।

গড় কোয়েরি। $f(D) = \frac{1}{n}\sum_i x_i$। যদি $n$ ফিক্সড না থাকে — add/remove মডেলে $n$ বদলায় — তাহলে গড়ের সেনসিটিভিটি $M/\min(n)$। $n$ যদি ১ পর্যন্ত নামতে পারে, সেনসিটিভিটি $M$।

লোকাল সেনসিটিভিটি

গ্লোবাল সেনসিটিভিটি নিরাপদ, কিন্তু অনেক সময় অতিরিক্ত সতর্ক। ধরো পরীক্ষার নম্বরের একটা ডেটাবেজ — নম্বর ০ থেকে ১০০। গ্লোবাল সেনসিটিভিটি ১০০। কিন্তু তোমার আসল ডেটায় ১০,০০০ শিক্ষার্থী আর সবার নম্বর ৬০ থেকে ৯৫-এর মধ্যে। নতুন একটা রেকর্ড যোগ হলে সর্বোচ্চ পরিবর্তন ৯৫ — ১০০ না। তুমি ১০০-এর জন্য নয়েজ মেশাচ্ছ, অথচ সেটা কখনো ঘটবেই না।

লোকাল সেনসিটিভিটি এটাই মাপে: নির্দিষ্ট ডেটাসেট $D$-এর জন্য, একটা রেকর্ড বদলালে $f$ সর্বোচ্চ কতটুকু বদলায়?

$$LS_f(D) = \max_{D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|$$

পড়ার উপায়: তোমার আসল ডেটাসেট $D$ ফিক্স করো। $D$ থেকে ঠিক একটা রেকর্ড বদলে যত $D'$ পাওয়া যায়, তাদের মধ্যে $f$-এর সর্বোচ্চ পরিবর্তনই লোকাল সেনসিটিভিটি।

গ্লোবাল সেনসিটিভিটি হলো সব সম্ভাব্য $D$-এর লোকাল সেনসিটিভিটির সর্বোচ্চ: $\Delta f = \max_D LS_f(D)$।

লোকাল সেনসিটিভিটি সরাসরি ব্যবহার করা যায় না

ধরা আছে একটা সমস্যা। যদি তুমি লোকাল সেনসিটিভিটি দিয়ে নয়েজ ক্যালিব্রেট করো, তাহলে নয়েজের স্কেল নিজেই ডেটাসেট সম্পর্কে তথ্য ফাঁস করে।

একটু ভাবো। শত্রু জানে তুমি লোকাল সেনসিটিভিটি ব্যবহার করছ। সে নয়েজের পরিমাণ দেখে আন্দাজ করতে পারে ডেটাসেটটা কেমন ধরনের। বেশি নয়েজ মানে ডেটাসেটে এমন রেকর্ড আছে যেগুলো $f$-এ বড় পরিবর্তন আনে — এটাই ফাঁস।

স্মুথ সেনসিটিভিটি আর প্রপোজ-টেস্ট-রিলিজ নামের টেকনিক আছে যেগুলো লোকাল সেনসিটিভিটির কাছাকাছি মান নিরাপদে ব্যবহার করতে দেয় — সেগুলো লোকাল সেনসিটিভিটির হিসাবটাকে নিজেই প্রাইভেট বানিয়ে নেয়। এখানে বিস্তারিত যাচ্ছি না, কিন্তু কেন সরাসরি ব্যবহার হয় না সেটা বোঝাটা জরুরি।

L1 / L2 সেনসিটিভিটি

এতক্ষণ সেনসিটিভিটিকে একটা সংখ্যা হিসেবে দেখেছি। কিন্তু কোয়েরির আউটপুট যদি একটা ভেক্টর হয় — একসাথে অনেকগুলো সংখ্যা — তাহলে পরিবর্তনের "মাপ" কীভাবে নেব সেটা বলতে হবে। L1 আর L2 সেনসিটিভিটি ঠিক এটাই করে।

L1 সেনসিটিভিটি

$f: \mathcal{D} \rightarrow \mathbb{R}^k$-এর L1 সেনসিটিভিটি:

$$\Delta_1 f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1$$

যেখানে $\|v\|_1 = \sum_{i=1}^k |v_i|$ — সব কোঅর্ডিনেটের পরম মানের যোগফল।

L1 সেনসিটিভিটি সব মাত্রা জুড়ে মোট পরম পরিবর্তন মাপে। এটা Laplace নয়েজ-এর সাথে জুটি বাঁধে — প্রতিটা আউটপুট কোঅর্ডিনেটে আলাদাভাবে Laplace নয়েজ যোগ হয় স্কেল $b = \Delta_1 f / \varepsilon$। Laplace মেকানিজম $\varepsilon$-DP দেয় (pure differential privacy)।

L2 সেনসিটিভিটি

$f: \mathcal{D} \rightarrow \mathbb{R}^k$-এর L2 সেনসিটিভিটি:

$$\Delta_2 f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_2$$

যেখানে $\|v\|_2 = \sqrt{\sum_{i=1}^k v_i^2}$ — ইউক্লিডিয়ান নর্ম।

L2 সেনসিটিভিটি পরিবর্তনের সরলরৈখিক দূরত্ব মাপে। এটা Gaussian নয়েজ-এর সাথে জুটি বাঁধে — $\mathcal{N}(0, \sigma^2 I)$ থেকে নয়েজ নেওয়া হয়। Gaussian মেকানিজম $(\varepsilon, \delta)$-DP দেয় (approximate differential privacy)।

L1 আর L2-এর তুলনা

স্কেলার আউটপুটের জন্য ($k = 1$): $\|v\|_1 = \|v\|_2 = |v|$। দুটো একই।

ভেক্টর আউটপুটের জন্য ($k > 1$): সবসময় $\|v\|_2 \leq \|v\|_1$। তাই L2 সেনসিটিভিটি সবসময় L1-এর চেয়ে কম বা সমান। উচ্চ-মাত্রার আউটপুটের জন্য Gaussian নয়েজ (L2-ভিত্তিক) প্রায়ই কম নয়েজ লাগায় — এ কারণেই নিউরাল নেটওয়ার্ক গ্রেডিয়েন্টের জন্য Gaussian মেকানিজম বেশি পছন্দের।

L1 vs L2 Sensitivity — Visualizing the NormsIllustration coming soon

সেনসিটিভিটি হিসাব করা

তাত্ত্বিক কথা অনেক হলো — এখন দেখি আসলে কীভাবে হিসাব করতে হয়।

দুটো প্রধান পদ্ধতি: অ্যানালিটিক্যাল ডেরাইভেশন (কোয়েরির গণিত থেকে বিশ্লেষণ করা) আর ক্লিপিং (ইনপুট সীমাবদ্ধ করে সেনসিটিভিটি নিশ্চিত করা)।

অ্যানালিটিক্যাল ডেরাইভেশন

সহজ কোয়েরির জন্য এই প্রশ্নটা করো: "একটা রেকর্ড যোগ বা বাদ দিলে আউটপুট সর্বোচ্চ কতটুকু বদলায়?"

ধাপ ১: $f(D) - f(D')$ লিখে ফেলো neighboring datasets-এর জন্য।

ধাপ ২: রেকর্ডের মান কী হতে পারে সেটা ধরে এই পার্থক্যের পরম মান (বা নর্ম) bound করো।

ধাপ ৩: দেখাও যে bound টা tight — এমন একটা ডেটাসেট আছে যেটা সত্যিই এই সর্বোচ্চ মানে পৌঁছায়।

উদাহরণ: সাম কোয়েরি। $f(D) = \sum_{x \in D} x$ যেখানে $x \in [0, M]$।

$$f(D) - f(D') = \pm x_{\text{যোগ বা বাদ দেওয়া রেকর্ড}}$$

সর্বোচ্চ পরম মান $M$। তাই $\Delta_1 f = M$।

উদাহরণ: হিস্টোগ্রাম কোয়েরি। $f(D) = (c_1, c_2, \ldots, c_k)$ যেখানে $c_i$ হলো bucket $i$-এর রেকর্ড সংখ্যা। একটা রেকর্ড যোগ বা বাদ দিলে ঠিক একটা bucket-এর কাউন্ট ১ বদলায়।

$$\|f(D) - f(D')\|_1 = 1 \qquad \|f(D) - f(D')\|_2 = 1$$

হিস্টোগ্রামের L1 এবং L2 উভয় সেনসিটিভিটিই ১ — bucket কতগুলো সেটা যাই হোক। এ কারণেই হিস্টোগ্রাম সহজে প্রাইভেট করা যায়।

ক্লিপিং দিয়ে সেনসিটিভিটি

নিউরাল নেটওয়ার্কের গ্রেডিয়েন্টের মতো জটিল ফাংশনের জন্য অ্যানালিটিক্যাল হিসাব অবাস্তব। তখন ক্লিপিং করি — আউটপুট একটা নির্দিষ্ট সীমার মধ্যে আটকে দিই, ফলে সেনসিটিভিটি জানা থাকে।

প্রতিটা রেকর্ডের গ্রেডিয়েন্ট L2 নর্ম $C$-এ ক্লিপ করলে, একটা রেকর্ড যোগ বা বাদ দিলে আউটপুট সর্বোচ্চ $C$ বদলায়। L2 সেনসিটিভিটি হয় ঠিক $C$ — আমরা নিজেরাই বেছেছি।

DP-SGD-এ এটাই হয়:

python

Copy

ক্লিপিং সেনসিটিভিটি নিশ্চিত করে, কিন্তু সাথে গ্রেডিয়েন্ট bias আনে। যেসব গ্রেডিয়েন্টের নর্ম max_norm-এর বেশি, সেগুলো ছোট হয়ে যায় — মানে সত্যিকারের গড় গ্রেডিয়েন্ট পাচ্ছ না। max_norm একটা হাইপারপ্যারামিটার: খুব ছোট হলে bias বেশি, খুব বড় হলে বেশি নয়েজ লাগে।

কম্পোজড কোয়েরির সেনসিটিভিটি

একসাথে একাধিক কোয়েরি চালালে সেনসিটিভিটি যোগ হয়:

• সিকোয়েনশিয়াল কম্পোজিশন: একই ডেটায় $f_1$ (সেনসিটিভিটি $\Delta_1$) তারপর $f_2$ (সেনসিটিভিটি $\Delta_2$) চালালে, মোট L1 সেনসিটিভিটি সর্বোচ্চ $\Delta_1 + \Delta_2$।
• প্যারালেল কম্পোজিশন: $f_1$ এবং $f_2$ ডেটার আলাদা অংশে কাজ করলে, মোট সেনসিটিভিটি $\max(\Delta_1, \Delta_2)$ — যোগফল না।

প্যারালেল কম্পোজিশন শক্তিশালী। ডেটা অঞ্চল অনুযায়ী ভাগ করলে, একজনের রেকর্ড শুধু একটা অঞ্চলে থাকে, তাই শুধু একটা কোয়েরি প্রভাবিত হয়।

সেনসিটিভিটি কেন গুরুত্বপূর্ণ

মেকানিক্স বোঝা হয়েছে। এখন পিছিয়ে দেখি কেন সেনসিটিভিটি কেন্দ্রীয় ধারণা।

সেনসিটিভিটি হলো নয়েজের ন্যূনতম সীমা

প্রতিটা DP নয়েজ মেকানিজম সেনসিটিভিটির সাথে তুলনামূলকভাবে নয়েজ সেট করে। Laplace নয়েজের স্কেল $\Delta_1 f / \varepsilon$। Gaussian নয়েজের স্ট্যান্ডার্ড ডেভিয়েশন $\Delta_2 f / \varepsilon$-এর সাথে সম্পর্কিত। সেনসিটিভিটি হলো সর্বনিম্ন নয়েজের পরিমাণ — এর চেয়ে কম নয়েজে DP সম্ভব না।

এর মানে সেনসিটিভিটি সরাসরি প্রাইভেসি–ইউটিলিটি ট্রেডঅফ নিয়ন্ত্রণ করে। বেশি সেনসিটিভিটি মানে বেশি নয়েজ মানে কম উপযোগী আউটপুট। একই $\varepsilon$ ভ্যালুর দুটো কোয়েরি সেনসিটিভিটির পার্থক্যে সম্পূর্ণ আলাদা ব্যবহারিক ফল দিতে পারে।

সেনসিটিভিটি নির্ধারণ করে কী সম্ভব

কিছু পরিসংখ্যান প্রাইভেট করা কার্যত অসম্ভব কারণ তাদের গ্লোবাল সেনসিটিভিটি অনেক বেশি।

যেমন সর্বোচ্চ (max) কোয়েরি। রেকর্ড $[0, M]$-এ থাকলে গ্লোবাল সেনসিটিভিটি $M$। নয়েজের স্কেল $M / \varepsilon$ — যেকোনো যুক্তিসংগত $\varepsilon$-এ ফলাফল নষ্ট হয়ে যায়।

অন্যদিকে সাম কোয়েরি। সেনসিটিভিটি $M$, কিন্তু সাম নিজেই $n$-এর সাথে বাড়ে — তাই আপেক্ষিক নয়েজ কমে। Max সেটা করে না।

এ কারণেই সম, কাউন্ট, হিস্টোগ্রাম প্রাইভেট করা ব্যবহারিক, কিন্তু সর্বোচ্চ, সর্বনিম্ন, মিডিয়ান অনেক কঠিন।

সেনসিটিভিটি কম ধরলে DP নীরবে ভেঙে যায়

সেনসিটিভিটি ছোট ধরলে নয়েজ কম — DP গ্যারান্টি শেষ, চুপচাপ। মেকানিজম চলে, আউটপুট দেখতে noisy, কিন্তু গণিত বলছে প্রাইভেসি নেই।

প্রাইভেট সিস্টেম ডিজাইনে সেনসিটিভিটি

সেনসিটিভিটি বোঝাটা সিস্টেম ডিজাইনের শুরু থেকে প্রভাব ফেলে:

• কম সেনসিটিভিটির কোয়েরি বেছে নাও। সুযোগ থাকলে কাউন্টিং কোয়েরি (সেনসিটিভিটি ১) সাম কোয়েরির (সেনসিটিভিটি M) চেয়ে ভালো। হিস্টোগ্রাম প্রায়ই কাউন্টিং কোয়েরির উপর তৈরি এ কারণেই।
• আগে থেকে ক্লিপিং দিয়ে সেনসিটিভিটি নিয়ন্ত্রণ করো। পরে বিশ্লেষণ করার চেয়ে এগিয়ে ক্লিপিং যোগ করা সহজ।
• পাইপলাইনে কোথায় সেনসিটিভিটি বোতলনেক সেটা খুঁজে বের করো। যে অপারেশনে সেনসিটিভিটি সবচেয়ে বেশি, সেটা ঠিক করলেই পুরো সিস্টেমের utility বাড়তে পারে।
• প্যারালেল কম্পোজিশন ব্যবহার করো। ডেটা ভাগ করা গেলে সেনসিটিভিটি জমা হয় না — সর্বোচ্চ মানে থাকে।

Sensitivity Sets the Noise Floor — From Query to DP MechanismIllustration coming soon

মূল শিক্ষা

সাধারণ ভুলগুলো

ইন্টারভিউ কর্নার

পরবর্তী যাত্রা

সেনসিটিভিটি হলো DP-র আনুষ্ঠানিক সংজ্ঞা আর বাস্তব নয়েজের মধ্যে সেতু। এখন জানা হলো কোয়েরি সর্বোচ্চ কতটুকু বদলাতে পারে — মানে নয়েজের ন্যূনতম সীমা কত। পরের ধাপে দেখব কোন নয়েজ বিতরণ ব্যবহার করতে হবে আর প্রমাণ করব সেটা কীভাবে DP গ্যারান্টি দেয়।

দুটো মেকানিজম রাজত্ব করে: Laplace মেকানিজম pure DP-র জন্য (L1 সেনসিটিভিটি ব্যবহার করে), আর Gaussian মেকানিজম approximate DP-র জন্য (L2 সেনসিটিভিটি ব্যবহার করে)। দুটোই সরাসরি এই অধ্যায়ের সেনসিটিভিটি বিশ্লেষণ থেকে আসে। তারপর composition theorems দিয়ে একাধিক অপারেশনে $\varepsilon$ budget কীভাবে জমা হয় সেটা দেখব — প্রাইভেট সিস্টেম তৈরির পূর্ণ toolkit তৈরি হবে।