বিষয় 8 / 64· গণমূল্যের ভিত্তি
প্রতিতথ্য বিশ্লেষণ
একটি প্রতিতথ্য (counterfactual) হলো একটি হস্তক্ষেপের অনুপস্থিতিতে কী ঘটত তার একটি অনুমান। এটি ছাড়া, একটি কর্মসূচি চালু হওয়ার পরে পর্যবেক্ষিত পরিবর্তনকে এমনিতেই ঘটে যেত এমন একটি পরিবর্তন থেকে আলাদা করা যায় না — কোনো প্রতিতথ্য নেই, প্রভাবের কোনো প্রমাণ নেই, আগে-ও-পরের সংখ্যা যতই প্ররোচক দেখাক না কেন। এইচএম ট্রেজারির ম্যাজেন্টা বুক একটি বিশ্বাসযোগ্য প্রতিতথ্য তৈরি করাকে প্রভাব মূল্যায়নের কেন্দ্রীয় পদ্ধতিগত কাজ হিসেবে গণ্য করে, অন্য যেকোনো একক নকশা পছন্দের চেয়ে বেশি গুরুত্বপূর্ণ।
কেন এটি গুরুত্বপূর্ণ
"আমরা কর্মসূচি চালু করার পরের বছরে অপরাধ ১৫% কমেছে" কর্মসূচি কাজ করেছে তার প্রমাণ নয় যদি না আপনি জানেন কর্মসূচি ছাড়া অপরাধের কী হতো — অসম্পর্কিত অর্থনৈতিক বা জনতাত্ত্বিক প্রবণতার কারণে অপরাধ এমনিতেই ২০% কমে যেতে পারত, অর্থাৎ প্রকৃতপক্ষে কর্মসূচিটি প্রতিতথ্যের সাপেক্ষে অবস্থা আরও খারাপ করেছে, যদিও নিখুঁত সংখ্যা উন্নত হয়েছে। এটি সরকারি ও সামাজিক-খাতের প্রভাব দাবিতে সবচেয়ে সাধারণ বিশ্লেষণাত্মক ত্রুটি: একটি আগে/পরে তুলনাকে কার্যকারণের প্রমাণ ভুল করা। ম্যাজেন্টা বুক স্পষ্ট যে প্রভাব মূল্যায়ন একটি প্রতিতথ্য প্রশ্নের উত্তর দিতে বিদ্যমান — "এই হস্তক্ষেপ কী পার্থক্য তৈরি করেছে?" — এবং এর উত্তর দিতে যে বিশ্বকে ঘটেনি তা শুধু বর্ণনা নয়, অনুমান করা প্রয়োজন।
বিভিন্ন পদ্ধতি বিভিন্ন মাত্রার আত্মবিশ্বাসে প্রতিতথ্য তৈরি করে, এবং সরকারি মূল্যায়ন নির্দেশিকা সে অনুযায়ী তাদের র্যাঙ্ক করে। এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষা (RCT), যেখানে ব্যক্তি বা অঞ্চল এলোমেলোভাবে একটি হস্তক্ষেপ পাওয়ার বা না পাওয়ার জন্য নির্ধারিত হয়, সবচেয়ে শক্তিশালী প্রতিতথ্য তৈরি করে কারণ এলোমেলোকরণ নিশ্চিত করে যে চিকিৎসা ও নিয়ন্ত্রণ গোষ্ঠী গড়ে শুধুমাত্র হস্তক্ষেপ পাওয়ার ক্ষেত্রেই ভিন্ন। ক্যাবিনেট অফিস এবং হোয়াট ওয়ার্কস নেটওয়ার্ক ২০১২ সালের বিহেভিয়ারাল ইনসাইটস টিমের "টেস্ট, লার্ন, অ্যাডাপ্ট" প্রতিবেদন থেকে যুক্তরাজ্যের সরকারি নীতি জুড়ে RCT-কে প্রচার করেছে, ঠিক এই কারণেই যে দুর্বল নকশাগুলো বিভ্রান্তিকর কারণের প্রতি দুর্বল — পর্যবেক্ষিত পার্থক্য কর্মসূচির প্রভাবের পরিবর্তে কে অংশগ্রহণ করা বেছে নিয়েছিল তা প্রতিফলিত করতে পারে। যেখানে এলোমেলোকরণ অবাস্তব বা অনৈতিক (যেমন প্রায়ই একটি বিধিবদ্ধ অধিকারসহ কর্মসূচির জন্য, বা সম্পূর্ণ-জনসংখ্যা নীতি পরিবর্তনের জন্য), ম্যাজেন্টা বুক দুর্বল কিন্তু তবুও উপযোগী বিকল্পগুলোর একটি স্পষ্ট শ্রেণিবিন্যাস নির্ধারণ করে: মিলকৃত তুলনামূলক গোষ্ঠী, পার্থক্য-মধ্যে-পার্থক্য নকশা, যোগ্যতা সীমার চারপাশে রিগ্রেশন-অসংলগ্নতা, এবং শেষ উপায় হিসেবে, সরল আগে/পরে তুলনা — যা স্পষ্টভাবে প্রমাণের দুর্বলতম রূপ হিসেবে চিহ্নিত, একই সময়ে পরিবর্তিত অন্য সবকিছুর প্রভাবের সাথে কর্মসূচির প্রভাব গুলিয়ে ফেলার প্রবণতাসহ।
গাণিতিক হিসাব
সকল পদ্ধতি জুড়ে প্রযোজ্য প্রতিতথ্য কাঠামো:
Estimated impact = Outcome(with intervention) − Outcome(counterfactual: without intervention)
NOT:
Estimated impact ≠ Outcome(after) − Outcome(before) [confounds time with treatment]
পার্থক্য-মধ্যে-পার্থক্য, সরকারি মূল্যায়নে সবচেয়ে সাধারণ আধা-পরীক্ষামূলক নকশাগুলোর একটি, তুলনামূলক গোষ্ঠীর নিজস্ব আগে/পরে পরিবর্তন বিয়োগ করে চিকিৎসা প্রভাবকে বিচ্ছিন্ন করে:
DiD estimate = [Outcome(treated, after) − Outcome(treated, before)]
− [Outcome(comparison, after) − Outcome(comparison, before)]
এটি উভয় গোষ্ঠীর জন্য সাধারণ যেকোনো প্রবণতা (যেমন সবাইকে প্রভাবিত করা একটি জাতীয় অর্থনৈতিক পরিবর্তন) সরিয়ে দেয়, শুধুমাত্র হস্তক্ষেপের জন্য দায়ী পার্থক্যমূলক পরিবর্তন রেখে।
ব্যবহারিক উদাহরণ
কর্মসংস্থান কর্মসূচি, আগে/পরে (দুর্বল নকশা): একটি চাকরি-সহায়তা স্কিম প্রতিবেদন করে যে অংশগ্রহণকারীর কর্মসংস্থান এক বছরে ৪০% থেকে ৫৫%-এ বেড়েছে — একটি সরল সিদ্ধান্ত "কর্মসূচির কারণে +১৫ শতাংশ বিন্দু।"
একই কর্মসূচি, পার্থক্য-মধ্যে-পার্থক্য (শক্তিশালী নকশা): একই স্থানীয় শ্রমবাজার থেকে নেওয়া অনুরূপ অ-অংশগ্রহণকারীদের একটি মিলকৃত তুলনামূলক গোষ্ঠী একই বছরে কর্মসংস্থান ৩৮% থেকে ৪৭%-এ বাড়তে দেখায় (একটি জাতীয় অর্থনৈতিক পুনরুদ্ধার চলছিল)।
Treated group change: 55% − 40% = +15 percentage points
Comparison group change: 47% − 38% = +9 percentage points
DiD estimate (true programme effect) = 15 − 9 = +6 percentage points
সৎ দায়যোগ্য প্রভাব ৬ শতাংশ বিন্দু, ১৫ নয় — আপাত আগে/পরে উন্নতির অর্ধেকেরও বেশি কর্মসূচি নির্বিশেষে ঘটত, তুলনামূলক গোষ্ঠীকে উত্তোলনকারী একই অর্থনৈতিক পুনরুদ্ধার দ্বারা চালিত।
রিগ্রেশন-অসংলগ্নতা, যোগ্যতা সীমা: একটি অনুদান স্কিম শুধুমাত্র ৫০-এর কম কর্মচারী সহ ব্যবসার জন্য উপলব্ধ। সীমার ঠিক নিচে ব্যবসার ফলাফল (৪৫–৪৯ কর্মচারী, যোগ্য) তার ঠিক উপরের ব্যবসার সাথে (৫০–৫৪ কর্মচারী, অযোগ্য) তুলনা করা একটি বিশ্বাসযোগ্য প্রতিতথ্য প্রদান করে কারণ একটি স্বেচ্ছাচারী প্রশাসনিক কাট-অফের উভয় পাশের ব্যবসা অন্যথায় অনুরূপ — সীমাটি, কোনো অন্তর্নিহিত ব্যবসায়িক বৈশিষ্ট্য নয়, যোগ্যতা নির্ধারণ করে। দুই গোষ্ঠীর মধ্যে £২,০০০ গড় ফলাফল পার্থক্য, শুধুমাত্র সীমায় পর্যবেক্ষিত, সমস্ত যোগ্য বনাম সমস্ত অযোগ্য ব্যবসার (যারা আকারে নিয়মতান্ত্রিকভাবে ভিন্ন) একটি সরল তুলনার চেয়ে অনেক বেশি আত্মবিশ্বাসের সাথে অনুদানের জন্য দায়ী করা যায়।
সফটওয়্যার ইঞ্জিনিয়ারিং সংযোগ
প্রতিতথ্য চিন্তাভাবনা সরকারি ও সামাজিক-খাতের সফটওয়্যারের জন্য প্রভাব-ট্র্যাকিং ব্যবস্থা ও মূল্যায়ন পাইপলাইন কীভাবে নকশা করা হয় তা গঠন করা উচিত:
- শুরু থেকেই একটি ব্যবস্থায় তুলনামূলক-গোষ্ঠী ধারণ তৈরি করুন — কে যোগ্য ছিল কিন্তু নথিভুক্ত হয়নি, বা একটি মিলকৃত অ-অংশগ্রহণকারী গোষ্ঠী রেকর্ড করা — একটি কর্মসূচি ইতিমধ্যে চলে যাওয়ার পরে এবং শুধুমাত্র আগে/পরে তথ্য বিদ্যমান থাকার পরে এটি পরবর্তীতে যোগ করার পরিবর্তে।
- যেখানে এলোমেলোকরণ সম্ভবপর (একটি ধাপে ধাপে রোলআউট, অন্যদের আগে কিছু ব্যবহারকারীর জন্য সক্ষম করা একটি ডিজিটাল সেবা), ব্যবস্থাকে এলোমেলো বরাদ্দকে একটি অনুসন্ধানযোগ্য ক্ষেত্র হিসেবে সংরক্ষণ করতে ইন্সট্রুমেন্ট করুন; যদি বরাদ্দের ক্রম লগ না করা হয় তবে একটি ধাপে ধাপে রোলআউট দুর্ঘটনাক্রমে নিজের মূল্যায়ন মূল্য ধ্বংস করে।
- এটি প্রভাব মূল্যায়ন পদ্ধতি-এর পেছনের মৌলিক পদ্ধতি এবং এটিই এটিকে প্রভাব মূল্যায়ন বনাম প্রক্রিয়া মূল্যায়ন থেকে আলাদা করে, যার পরেরটি জিজ্ঞাসা করে একটি কর্মসূচি উদ্দেশ্য অনুযায়ী বিতরণ করা হয়েছিল কি না তা এটি একটি প্রভাব তৈরি করেছিল কি না তার পরিবর্তে।
- সংযোজনযোগ্যতা ও ডেডওয়েট এবং স্থানচ্যুতি ও দায়ারোপণ উভয়ই, মূলে, প্রতিতথ্য প্রশ্ন — ডেডওয়েট হলো "হস্তক্ষেপ ছাড়া এই নির্দিষ্ট ফলাফলটি কী হতো", যা সম্পূর্ণ মূল্যায়ন নকশার পরিবর্তে সমন্বয়ের স্তরে প্রয়োগ করা হয়।
সাধারণ ভুলত্রুটি
- আগে/পরেকে কার্যকারণের প্রমাণ হিসেবে গণ্য করা। এটি সরকারি ও সামাজিক-খাতের প্রভাব প্রতিবেদনে সবচেয়ে সাধারণ ও সবচেয়ে গুরুত্বপূর্ণ ত্রুটি; একটি আগে/পরে পরিবর্তন কর্মসূচির প্রভাবকে একই সময়ে পরিবর্তিত অন্য সবকিছুর সাথে গুলিয়ে ফেলে।
- চিকিৎসা গোষ্ঠী থেকে নিয়মতান্ত্রিকভাবে ভিন্ন একটি তুলনামূলক গোষ্ঠী ব্যবহার করা। একটি মিলকৃত তুলনামূলক গোষ্ঠীকে প্রাসঙ্গিক বৈশিষ্ট্যে প্রকৃতপক্ষে অনুরূপ হতে হবে (ম্যাজেন্টা বুকে প্রতিতথ্য বিশ্লেষণ পদ্ধতি শ্রেণিবিন্যাস দেখুন); কর্মসূচি অংশগ্রহণকারীদের (যারা যোগ দিতে বেছে নিয়েছে, এবং প্রায়ই বেশি অনুপ্রাণিত) অ-অংশগ্রহণকারীদের (যারা নেয়নি) সাথে তুলনা করা কর্মসূচি প্রভাব হিসেবে ছদ্মবেশ ধারণকারী নির্বাচন পক্ষপাতের ঝুঁকি তৈরি করে।
- দুর্বল বিতরণ নকশার মাধ্যমে এলোমেলোকরণের সুযোগ ধ্বংস করা। একটি ধাপে ধাপে বা এলোমেলো রোলআউট তার মূল্যায়ন মূল্য শুধুমাত্র তখনই সংরক্ষণ করে যদি বরাদ্দ প্রকৃতপক্ষে এলোমেলো এবং রেকর্ডকৃত হয় — স্থানীয় ব্যবস্থাপকদের কে প্রথমে যাবে তা বেছে নিতে দেওয়া উদ্দেশ্যকে ব্যর্থ করে।
- একটি দুর্বল নকশা থেকে অতিরিক্ত নির্ভুলতা দাবি করা। একটি আগে/পরে অনুমান নির্দেশমূলক হিসেবে উপস্থাপন করা উচিত, একটি পরিমাপিত প্রভাব আকার হিসেবে নয়; ম্যাজেন্টা বুকের প্রমাণ শ্রেণিবিন্যাস বিদ্যমান যাতে একটি দাবির শক্তি তা তৈরি করা নকশার শক্তির সাথে মিলে যায়।
তথ্যসূত্র
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
- Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
- What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
- Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).