موضوع 23 از 64· ارزش اجتماعی و سنجش اثر

روش‌های ارزشیابی اثر

روش‌های ارزشیابی اثر طرح‌های آماری و آزمایشی‌ای‌اند که برای برآورد آنچه سیاست یا برنامه واقعاً ایجاد کرده، متمایز از آنچه در هر صورت رخ می‌داد، به کار می‌روند؛ آزمایش‌های کنترل‌شدهٔ تصادفی (RCT)، تفاضل در تفاضل‌ها، تطبیق نمرهٔ گرایش و طرح ناپیوستگی رگرسیون، چهار روشی‌اند که بیش از همه در سیاست‌گذاری عمومی بریتانیا استفاده می‌شوند. این روش‌ها وجود دارند چون بیشتر مداخلات دولتی را نمی‌توان در آزمایشگاه آزمود: نمی‌توانید به‌طور تصادفی تعیین کنید کدام شهر خط اتوبوس تازه بگیرد، آن‌گونه که می‌توانید بیمار دریافت‌کنندهٔ دارو را تصادفی کنید؛ پس این روش‌ها همان منطق علّی را بی‌آنکه همیشه تخصیص تصادفی بخواهند وام می‌گیرند.

چرا اهمیت دارد

کتاب مجنتا (Magenta Book) خزانه‌داری بریتانیا، پیوست A دربارهٔ روش‌های شبه‌آزمایشی، راهنمای مرجع دولت بریتانیا برای انتخاب میان این طرح‌هاست، و نهادهایی مانند بنیاد آموزش‌وپرورش (Education Endowment Foundation) و مرکز What Works برای رشد اقتصادی محلی سلسله‌مراتبی از شواهد را نهادینه می‌کنند که بر پایهٔ آن‌هاست: RCT آنجا که تصادفی‌سازی شدنی و اخلاقی است، طرح‌های شبه‌آزمایشی آنجا که نیست. انتخاب روش ملاحظه‌ای فنی در پایان نیست: تعیین می‌کند ارزشیابی می‌تواند به «آیا برنامه این را ایجاد کرد؟» پاسخ دهد یا فقط به «آیا این پس از آغاز برنامه رخ داد؟»، که همان پرسشی است که تحلیل وضعیت خلاف‌واقع ساخته شده تا پیش از سفارش هر ارزشیابی، اهل عمل را به پرسیدنش وادارد.

ریاضیات

RCT:
  اثر = mean(outcome | گروه آزمایش) − mean(outcome | گروه کنترل)
  (معتبر چون تخصیص به آزمایش تصادفی است)

تفاضل در تفاضل‌ها (DiD):
  اثر = [outcome_after(treated) − outcome_before(treated)]
      − [outcome_after(control) − outcome_before(control)]
  (نیازمند فرض «روندهای موازی» است: گروه آزمایش و کنترل در غیاب مداخله
   با هم حرکت می‌کردند)

تطبیق نمرهٔ گرایش (PSM):
  1. P(treatment = 1 | covariates X) را برای هر واحد برآورد کنید → نمرهٔ گرایش
  2. واحدهای تحت درمان را با واحدهای بدون درمان با نمرهٔ گرایش مشابه تطبیق دهید
  3. اثر = mean(outcome | treated) − mean(outcome | matched control)

طرح ناپیوستگی رگرسیون (RDD):
  اثر = جهش در پیامد مشاهده‌شده در آستانهٔ واجد شرایط بودن،
        با مقایسهٔ واحدهای درست بالای آستانه با درست پایین آن

مثال عملی

شورای محلی (تفاضل در تفاضل‌ها برای برنامهٔ خانواده‌های دچار مشکل): پیامد حضور در مدرسه است. منطقهٔ تحت برنامه طی دورهٔ برنامه از 84% به 89% حضور می‌رود (+5 واحد درصد)؛ منطقهٔ قابل‌مقایسهٔ بدون برنامه در همان دوره از 85% به 87% می‌رود (+2 واحد درصد). برآورد اثر DiD: 5 − 2 = +3 واحد درصد منتسب به برنامه. اعمال این بر گروهی 2,000 دانش‌آموزی در منطقهٔ تحت برنامه، با حدود 60 دانش‌آموز اضافی (3% × 2,000) که به دستهٔ حضور بالاتر می‌رسند سازگار است، برون‌یابی‌ای که باید با تذکر روندهای موازی‌اش گزارش شود، نه به‌عنوان شمارش دقیق افراد.

خیریه (تطبیق نمرهٔ گرایش برای خیریهٔ اشتغال‌پذیری): 300 شرکت‌کنندهٔ برنامه با نمرهٔ گرایش ساخته‌شده از سن، سابقهٔ اشتغال پیشین و سطح مدرک، با 300 نفر از یک مجموعه‌داده اداری بزرگ‌تر تطبیق داده می‌شوند. نرخ اشتغال در دوازده ماه: گروه تطبیق‌یافتهٔ تحت برنامه 46%، گروه مقایسهٔ تطبیق‌یافته 33%. برآورد اثر PSM: 46% − 33% = +13 واحد درصد منتسب به برنامه، مشروط بر اینکه هیچ عامل مخدوش‌کنندهٔ مشاهده‌نشده (مانند انگیزه) هم مشارکت و هم پیامد را پیش نبرد.

پیوند با مهندسی نرم‌افزار

اینکه هر یک از این طرح‌ها بعداً شدنی باشد به‌شدت به تصمیم‌های مهندسی داده در آغاز بستگی دارد. RDD به متغیر اجرایی دقیق ثبت‌شده و آستانهٔ واجد شرایط بودنِ واقعاً تمیز نیاز دارد؛ DiD به داده‌های پانل قابل‌مقایسه در طول زمان برای هر دو منطقهٔ تحت برنامه و مقایسه، که یعنی join های سازگار میان سامانه‌ها و سال‌ها؛ PSM به داده‌های غنی هم‌متغیر پایه که پیش از درمان گرفته شده، نه پس از آن بازسازی. مدل داده‌ای که از ابتدا کنار نظریهٔ تغییر و مدل منطقی طراحی شده باشد، و هم‌متغیرهای پایه، تاریخ‌ها و رکوردهای واجد شرایط گروه مقایسه را ثبت کند، همان چیزی است که ارزشیابی اثر سخت‌گیرانه را بعداً ممکن می‌کند، به‌جای یک تقلای پرهزینهٔ پسینی. برای پرسش مکملی که این روش‌ها به‌تنهایی به آن پاسخ نمی‌دهند، ارزشیابی اثر در برابر ارزشیابی فرایند را ببینید.

دام‌ها

  • تحمیل RCT آنجا که شدنی یا اخلاقی نیست، یا برعکس، هرگز در نظر نگرفتن طرح شبه‌آزمایشی آنجا که فرصتی واقعی برایش وجود داشت، مثل آستانهٔ سیاستی یا گسترش مرحله‌ای، و بی‌استفاده ماند.
  • نادیده گرفتن فرض روندهای موازی در DiD. اگر منطقهٔ مقایسه پیش از مداخله هم از منطقهٔ تحت برنامه دور می‌شد، مقایسهٔ دونقطه‌ای آلوده است؛ پیش‌روندها را بررسی کنید، نه فقط پیش/پس.
  • تطبیق فقط بر هم‌متغیرهای مشاهده‌شده در PSM. انتخاب مشاهده‌نشده، مانند انگیزهٔ شرکت‌کننده، می‌تواند برآورد را سوگیر کند، حتی وقتی هم‌متغیرهای مشاهده‌شده خوب متوازن‌اند.
  • دست‌کاری متغیر اجرایی در RDD. اگر مردم بتوانند نمره‌شان را طوری تغییر دهند که درست درون آستانهٔ واجد شرایط بودن بیفتند، ناپیوستگی دیگر اثر علّی را جدا نمی‌کند.

منابع