বিষয় 23 / 64· সামাজিক মূল্য ও প্রভাব পরিমাপ

প্রভাব মূল্যায়ন পদ্ধতি

প্রভাব মূল্যায়ন পদ্ধতি হলো একটি নীতি বা কর্মসূচি প্রকৃতপক্ষে কী ঘটিয়েছে তা অনুমান করতে ব্যবহৃত পরিসংখ্যানগত ও পরীক্ষামূলক নকশা, এমনিতেই কী ঘটত তা থেকে আলাদা — এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষা (RCT), পার্থক্য-মধ্যে-পার্থক্য, প্রবণতা স্কোর মিলকরণ, এবং রিগ্রেশন-অসংলগ্নতা নকশা যুক্তরাজ্যের সরকারি নীতিতে সবচেয়ে বেশি ব্যবহৃত চারটি। এগুলো বিদ্যমান কারণ বেশিরভাগ সরকারি হস্তক্ষেপ একটি পরীক্ষাগারে পরীক্ষা করা যায় না: আপনি এলোমেলোভাবে নির্ধারণ করতে পারবেন না কোন শহর একটি নতুন বাস রুট পাবে যেভাবে আপনি এলোমেলোভাবে নির্ধারণ করতে পারেন কোন রোগী একটি ওষুধ পাবে, তাই এই পদ্ধতিগুলো সবসময় এলোমেলো বরাদ্দ প্রয়োজন না করেই একই কার্যকারণ যুক্তি ধার নেয়।

কেন এটি গুরুত্বপূর্ণ

এইচএম ট্রেজারির ম্যাজেন্টা বুক, অ্যানেক্স A আধা-পরীক্ষামূলক পদ্ধতির উপর, এই নকশাগুলোর মধ্যে বেছে নেওয়ার যুক্তরাজ্য সরকারের প্রামাণিক নির্দেশিকা, এবং এডুকেশন এনডাওমেন্ট ফাউন্ডেশন এবং হোয়াট ওয়ার্কস সেন্টার ফর লোকাল ইকোনমিক গ্রোথের মতো সংস্থা তাদের চারপাশে একটি প্রমাণ শ্রেণিবিন্যাস প্রাতিষ্ঠানিক করে — RCT যেখানে এলোমেলোকরণ সম্ভবপর ও নৈতিক, আধা-পরীক্ষামূলক নকশা যেখানে নয়। পদ্ধতির পছন্দ একটি প্রযুক্তিগত পশ্চাৎচিন্তা নয়: এটি নির্ধারণ করে একটি মূল্যায়ন "কর্মসূচি এটি ঘটিয়েছে কি?" নাকি শুধু "কর্মসূচি শুরু হওয়ার পরে এটি ঘটেছে কি?" এর উত্তর দিতে পারে কি না, যা প্রতিতথ্য বিশ্লেষণ অনুশীলনকারীদের যেকোনো মূল্যায়ন নিয়োগের আগে জিজ্ঞাসা করতে বাধ্য করতে তৈরি করা একই প্রশ্ন।

গাণিতিক হিসাব

RCT:
  Impact = mean(outcome | treatment group) − mean(outcome | control group)
  (valid because assignment to treatment is random)

Difference-in-differences (DiD):
  Impact = [outcome_after(treated) − outcome_before(treated)]
         − [outcome_after(control) − outcome_before(control)]
  (requires a "parallel trends" assumption: treated and control would have moved together
   absent the intervention)

Propensity score matching (PSM):
  1. Estimate P(treatment = 1 | covariates X) for every unit → propensity score
  2. Match treated units to untreated units with similar propensity scores
  3. Impact = mean(outcome | treated) − mean(outcome | matched control)

Regression discontinuity design (RDD):
  Impact = jump in outcome observed at the eligibility threshold,
           comparing units just above vs just below the cutoff

ব্যবহারিক উদাহরণ

স্থানীয় কর্তৃপক্ষ (একটি সমস্যাগ্রস্ত পরিবার কর্মসূচির জন্য পার্থক্য-মধ্যে-পার্থক্য): ফলাফল স্কুল উপস্থিতি। কর্মসূচি সময়কালে চিকিৎসিত এলাকা ৮৪% থেকে ৮৯% উপস্থিতিতে চলে যায় (+৫ শতাংশ বিন্দু); একটি তুলনামূলক কিন্তু অ-চিকিৎসিত এলাকা একই সময়কালে ৮৫% থেকে ৮৭%-এ যায় (+২ শতাংশ বিন্দু)। DiD প্রভাব অনুমান: ৫ − ২ = +৩ শতাংশ বিন্দু কর্মসূচির জন্য দায়ী। চিকিৎসিত এলাকার ২,০০০ ছাত্রের একটি কোহোর্টে প্রয়োগ করলে, এটি মোটামুটি ৬০ জন অতিরিক্ত ছাত্র (৩% × ২,০০০) উচ্চতর উপস্থিতি বিভাগে পৌঁছানোর সাথে সামঞ্জস্যপূর্ণ, একটি এক্সট্রাপোলেশন যা এর সমান্তরাল-প্রবণতা সতর্কতাসহ প্রতিবেদন করা উচিত, একটি নির্ভুল হেডকাউন্ট হিসেবে নয়।

দাতব্য সংস্থা (একটি কর্মসংস্থান দাতব্য সংস্থার জন্য প্রবণতা স্কোর মিলকরণ): বয়স, পূর্ববর্তী কর্মসংস্থান ইতিহাস, এবং যোগ্যতা স্তর থেকে তৈরি প্রবণতা স্কোর ব্যবহার করে একটি বড় প্রশাসনিক তথ্যসেট থেকে ৩০০ জন কর্মসূচি অংশগ্রহণকারীকে ৩০০ জন ব্যক্তির সাথে মেলানো হয়। বারো-মাসের কর্মসংস্থান হার: মিলকৃত চিকিৎসিত গোষ্ঠী ৪৬%, মিলকৃত তুলনামূলক গোষ্ঠী ৩৩%। PSM প্রভাব অনুমান: ৪৬% − ৩৩% = +১৩ শতাংশ বিন্দু কর্মসূচির জন্য দায়ী, শর্তসাপেক্ষে যে কোনো অপর্যবেক্ষিত বিভ্রান্তিকর (যেমন প্রেরণা) অংশগ্রহণ ও ফলাফল উভয়ই চালাচ্ছে না।

সফটওয়্যার ইঞ্জিনিয়ারিং সংযোগ

এই নকশাগুলোর যেকোনো একটি পরে সম্ভবপর কি না তা ব্যাপকভাবে নির্ভর করে প্রথম দিকে করা তথ্য প্রকৌশল সিদ্ধান্তের উপর। RDD-এর একটি নির্ভুলভাবে রেকর্ডকৃত চলমান পরিবর্তনশীল এবং একটি প্রকৃতপক্ষে পরিষ্কার যোগ্যতা কাট-অফ প্রয়োজন; DiD-এর চিকিৎসিত ও তুলনামূলক এলাকা উভয়ের জন্য সময়ের সাথে তুলনাযোগ্য প্যানেল তথ্য প্রয়োজন, যার অর্থ ব্যবস্থা ও বছর জুড়ে সামঞ্জস্যপূর্ণ যোগদান; PSM-এর চিকিৎসার আগে ধারণকৃত সমৃদ্ধ বেসলাইন সহভেরিয়েট তথ্য প্রয়োজন, পরে পুনর্গঠিত নয়। শুরু থেকে পরিবর্তনের তত্ত্ব ও যুক্তি মডেল-এর সাথে একসাথে নকশাকৃত একটি তথ্য মডেল — বেসলাইন সহভেরিয়েট, তারিখ, এবং তুলনামূলক-গোষ্ঠী-যোগ্য রেকর্ড ধারণ করে — যা পরে একটি ব্যয়বহুল পশ্চাৎ-অনুসন্ধানের পরিবর্তে একটি কঠোর প্রভাব মূল্যায়ন পরে সম্ভব করে তোলে। এই পদ্ধতিগুলো নিজে থেকে উত্তর দেয় না এমন পরিপূরক প্রশ্নের জন্য দেখুন প্রভাব মূল্যায়ন বনাম প্রক্রিয়া মূল্যায়ন।

সাধারণ ভুলত্রুটি

  • অসম্ভব বা অনৈতিক হলেও একটি RCT জোর করা, অথবা বিপরীতভাবে একটি আধা-পরীক্ষামূলক নকশা কখনো বিবেচনা না করা যখন একটির জন্য একটি প্রকৃত সুযোগ — একটি নীতি কাট-অফ, একটি ধাপে ধাপে রোলআউট — উপলব্ধ ছিল এবং অব্যবহৃত ছিল।
  • DiD-এ সমান্তরাল-প্রবণতা অনুমান উপেক্ষা করা। যদি হস্তক্ষেপের আগে তুলনামূলক এলাকা ইতিমধ্যে চিকিৎসিত এলাকা থেকে বিচ্যুত হচ্ছিল, দুই-বিন্দু তুলনা দূষিত; শুধু আগে/পরে নয়, পূর্ব-প্রবণতা পরীক্ষা করুন।
  • PSM-এ শুধুমাত্র পর্যবেক্ষিত সহভেরিয়েটে মেলানো। অপর্যবেক্ষিত নির্বাচন, যেমন অংশগ্রহণকারীর প্রেরণা, অনুমানকে পক্ষপাতদুষ্ট করতে পারে এমনকি যখন পর্যবেক্ষিত সহভেরিয়েট ভালোভাবে সুষম।
  • RDD-তে চলমান পরিবর্তনশীল হেরফের। যদি মানুষ তাদের স্কোরকে একটি যোগ্যতা সীমার ঠিক ভেতরে পড়তে প্রভাবিত করতে পারে, অসংলগ্নতা আর একটি কার্যকারণ প্রভাবকে বিচ্ছিন্ন করে না।

তথ্যসূত্র