موضوع 8 از 64· مبانی ارزش عمومی

تحلیل وضعیت خلاف‌واقع

وضعیت خلاف‌واقع (counterfactual) برآوردی از چیزی است که در غیاب یک مداخله رخ می‌داد. بدون آن، تغییر مشاهده‌شده پس از راه‌اندازی یک برنامه را نمی‌توان از تغییری که به هر حال رخ می‌داد تمییز داد — بدون وضعیت خلاف‌واقع، شاهدی بر اثر نیست، هرقدر اعداد پیش‌وپس چشمگیر باشند. «کتاب مجنتا» (Magenta Book) خزانه‌داری بریتانیا ساختن یک وضعیت خلاف‌واقعِ معتبر را وظیفهٔ روش‌شناختی محوری ارزیابی اثر می‌داند، مهم‌تر از هر انتخاب طراحی منفرد دیگر.

چرا اهمیت دارد

«جرم در سال پس از معرفی برنامه 15% کاهش یافت» شاهد کارکرد برنامه نیست مگر بدانید بدون آن چه بر سر جرم می‌آمد — جرم ممکن بود به هر حال 20% کاهش یابد، به‌خاطر روندهای اقتصادی یا جمعیتی نامرتبط، که یعنی برنامه در واقع نسبت به وضعیت خلاف‌واقع اوضاع را بدتر کرده است، هرچند عدد خام بهتر شده. این رایج‌ترین خطای تحلیلی در ادعاهای اثر بخش عمومی و بخش اجتماعی است: اشتباه گرفتن مقایسهٔ پیش‌وپس با شاهد علیت. Magenta Book صریح است که ارزیابی اثر برای پاسخ به یک پرسش خلاف‌واقع وجود دارد — «این مداخله چه تفاوتی ایجاد کرد؟» — و پاسخ به آن مستلزم برآورد، نه صرفاً توصیف، جهانی است که رخ نداد.

روش‌های مختلف وضعیت خلاف‌واقع را با درجات متفاوتی از اطمینان می‌سازند و راهنمای ارزیابی دولتی آن‌ها را بر همین اساس رتبه‌بندی می‌کند. کارآزمایی‌های تصادفی‌سازی‌شدهٔ کنترل‌شده (RCT)، که در آن افراد یا مناطق تصادفی به دریافت مداخله یا عدم دریافت آن اختصاص می‌یابند، قوی‌ترین وضعیت خلاف‌واقع را تولید می‌کنند، چون تصادفی‌سازی تضمین می‌کند گروه‌های درمان و کنترل به‌طور میانگین فقط در دریافت مداخله فرق دارند. دفتر کابینه و «شبکهٔ آنچه کار می‌کند» (What Works Network) از گزارش 2012 «Test, Learn, Adapt» از «تیم بینش‌های رفتاری» (Behavioural Insights Team) در سراسر سیاست‌گذاری عمومی بریتانیا RCTها را ترویج کرده‌اند، دقیقاً چون طراحی‌های ضعیف‌تر در برابر مخدوش‌شدگی (confounding) آسیب‌پذیرند — تفاوت مشاهده‌شده ممکن است بازتاب اینکه چه کسی شرکت کرد باشد، نه اثر برنامه. جایی که تصادفی‌سازی عملی یا اخلاقی نیست (که اغلب برای برنامه‌هایی با استحقاق قانونی، یا برای تغییرات سیاستیِ کل جمعیت چنین است)، Magenta Book سلسله‌مراتبی صریح از جایگزین‌های ضعیف‌تر اما همچنان مفید ارائه می‌دهد: گروه‌های مقایسهٔ همتاشده، طرح‌های تفاضل‌در‌تفاضل (difference-in-differences)، ناپیوستگی رگرسیونی حول آستانه‌های صلاحیت، و به‌عنوان آخرین چاره، مقایسهٔ ساده پیش‌وپس — که به‌روشنی به‌عنوان ضعیف‌ترین شکل شاهد علامت‌گذاری شده و مستعد خلط اثر برنامه با اثر هر چیز دیگری است که هم‌زمان تغییر کرد.

ریاضیات

چارچوب خلاف‌واقع، قابل‌اعمال بر همهٔ روش‌ها:

اثر برآوردشده = Outcome(with intervention) − Outcome(counterfactual: without intervention)

نه:
اثر برآوردشده ≠ Outcome(after) − Outcome(before)   [زمان را با درمان مخدوش می‌کند]

تفاضل‌در‌تفاضل، یکی از رایج‌ترین طرح‌های شبه‌آزمایشی در ارزیابی دولتی، اثر درمان را با کسر تغییر پیش‌وپس خودِ گروه مقایسه جدا می‌کند:

برآورد DiD = [Outcome(treated, after) − Outcome(treated, before)]
             − [Outcome(comparison, after) − Outcome(comparison, before)]

این هر روندِ مشترک میان دو گروه (مثلاً تغییر اقتصادی ملی که بر همه اثر می‌گذارد) را حذف می‌کند و فقط تغییر تفاضلیِ منتسب به مداخله را باقی می‌گذارد.

مثال عملی

برنامهٔ اشتغال، پیش‌وپس (طرح ضعیف): طرح پشتیبانی شغلی گزارش می‌کند اشتغال شرکت‌کنندگان در یک سال از 40% به 55% رسید — نتیجه‌گیری ساده‌لوحانهٔ «+15 واحد درصد به‌خاطر برنامه».

همان برنامه، تفاضل‌در‌تفاضل (طرح قوی‌تر): یک گروه مقایسهٔ همتاشده از غیرشرکت‌کنندگان مشابه، از همان بازار کار محلی، افزایش اشتغال از 38% به 47% را در همان سال نشان می‌دهد (بهبود اقتصادی ملی در جریان بود).

تغییر گروه درمان:    55% − 40% = +15 واحد درصد
تغییر گروه مقایسه:   47% − 38% = +9 واحد درصد

برآورد DiD (اثر واقعی برنامه) = 15 − 9 = +6 واحد درصد

اثر منتسب صادقانه 6 واحد درصد است، نه 15 — بیش از نیمی از بهبود ظاهریِ پیش‌وپس به هر حال بدون برنامه رخ می‌داد، با همان بهبود اقتصادی که گروه مقایسه را هم بالا برد.

ناپیوستگی رگرسیونی، آستانهٔ صلاحیت: یک طرح کمک‌هزینه فقط برای کسب‌وکارهای با کمتر از 50 کارمند در دسترس است. مقایسهٔ پیامدهای کسب‌وکارهای درست زیر آستانه (45–49 کارمند، واجد شرایط) با کسب‌وکارهای درست بالای آن (50–54 کارمند، فاقد شرایط) وضعیت خلاف‌واقعی معتبر فراهم می‌کند چون کسب‌وکارهای دو طرف یک برش اداری دلبخواهی در غیر این صورت مشابه‌اند — آستانه، نه هیچ ویژگی زیربنایی کسب‌وکار، صلاحیت را تعیین می‌کند. تفاوت پیامد میانگین £2,000 میان دو گروه که فقط در آستانه مشاهده می‌شود با اطمینان بسیار بیشتری از مقایسهٔ ساده همهٔ کسب‌وکارهای واجد شرایط با همهٔ فاقد شرایط (که از نظر اندازه به‌طور نظام‌مند فرق دارند) به کمک‌هزینه منتسب می‌شود.

پیوند با مهندسی نرم‌افزار

تفکر خلاف‌واقع باید شیوهٔ طراحی سامانه‌های ردیابی اثر و خط‌لوله‌های ارزیابی برای نرم‌افزار دولتی و بخش اجتماعی را شکل دهد:

  • ثبت گروه مقایسه را از ابتدا در سامانه بسازید — ثبت اینکه چه کسی واجد شرایط بود اما ثبت‌نام نکرد، یا گروه همتاشدهٔ غیرشرکت‌کنندگان — به‌جای افزودن آن پس از اجرای برنامه، وقتی فقط داده‌های پیش‌وپس وجود دارد.
  • جایی که تصادفی‌سازی شدنی است (استقرار مرحله‌ای، خدمت دیجیتالی که برای برخی کاربران پیش از دیگران فعال می‌شود)، سامانه را طوری ابزارمند کنید که تخصیص تصادفی را به‌صورت فیلدی قابل‌پرس‌وجو حفظ کند؛ استقرار مرحله‌ای اگر ترتیب تخصیص ثبت نشود به‌طور تصادفی ارزش ارزیابی خودش را نابود می‌کند.
  • این روش بنیادین پشت روش‌های ارزیابی اثر است و چیزی است که آن را از ارزیابی اثر در برابر ارزیابی فرایند جدا می‌کند، که دومی می‌پرسد برنامه همان‌گونه که قصد شده بود تحویل شد، نه اینکه اثری ایجاد کرد.
  • افزونگی و بار مرده و جابه‌جایی و انتساب هر دو در ریشه پرسش‌های خلاف‌واقع‌اند — بار مرده یعنی «این پیامد مشخص بدون مداخله چه می‌شد»، که در سطح تعدیل به‌کار می‌رود، نه طراحی کامل ارزیابی.

دام‌ها

  • تلقی پیش‌وپس به‌عنوان شاهد علیت. رایج‌ترین و پیامدارترین خطا در گزارش اثر بخش عمومی و اجتماعی؛ تغییر پیش‌وپس اثر برنامه را با هر چیز دیگری که در همان دوره تغییر کرد مخدوش می‌کند.
  • استفاده از گروه مقایسه‌ای که به‌طور نظام‌مند با گروه درمان فرق دارد. گروه مقایسهٔ همتاشده باید در ویژگی‌های مرتبط واقعاً مشابه باشد (نک. سلسله‌مراتب روش‌های تحلیل وضعیت خلاف‌واقع در Magenta Book)؛ مقایسهٔ شرکت‌کنندگان برنامه (که ثبت‌نام را برگزیده‌اند و اغلب انگیزهٔ بیشتری دارند) با غیرشرکت‌کنندگان (که نکرده‌اند) خطر سوگیری انتخاب را دارد که به لباس اثر برنامه درآمده است.
  • نابود کردن فرصت‌های تصادفی‌سازی با طراحی ضعیف تحویل. استقرار مرحله‌ای یا تصادفی ارزش ارزیابی خود را فقط وقتی حفظ می‌کند که تخصیص واقعاً تصادفی و ثبت‌شده باشد — اجازه دادن به مدیران محلی تا انتخاب کنند چه کسی اول برود هدف را از بین می‌برد.
  • ادعای بیش‌ازحد دقت از طرح ضعیف. برآورد پیش‌وپس باید به‌عنوان نشانگر ارائه شود، نه اندازهٔ اثر اندازه‌گیری‌شده؛ سلسله‌مراتب شواهد Magenta Book برای این است که قوت ادعا با قوت طرحی که آن را تولید کرده متناسب باشد.

منابع

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).