الموضوع 23 من 64· القيمة الاجتماعية وقياس الأثر
طرق تقييم الأثر
طرق تقييم الأثر هي التصاميم الإحصائية والتجريبية المستخدمة لتقدير ما سبّبته سياسة أو برنامج فعلياً، تمييزاً عمّا كان سيحدث على أي حال — والتجارب العشوائية المضبوطة (RCTs)، والفرق في الفروق، ومطابقة درجة الميل (propensity score matching)، وتصميم الانحدار غير المتصل (regression discontinuity design) هي الطرق الأربع الأكثر استخداماً في السياسة العامة البريطانية. وتوجد هذه الطرق لأن معظم التدخلات الحكومية لا يمكن اختبارها في مختبر: فلا يمكنك توزيع أي بلدة تحصل على خط حافلات جديد عشوائياً بالطريقة نفسها التي يمكنك بها توزيع أي مريض يحصل على دواء عشوائياً، فتقترض هذه الطرق المنطق السببي نفسه دون أن تشترط دائماً توزيعاً عشوائياً.
لماذا يهم الأمر
يُعد الملحق أ من الكتاب الأرجواني الصادر عن وزارة الخزانة البريطانية، الخاص بالطرق شبه التجريبية، الإرشاد المرجعي للحكومة البريطانية بشأن الاختيار بين هذه التصاميم، وتؤسس هيئات مثل مؤسسة الأوقاف التعليمية (Education Endowment Foundation) ومركز "ما ينجح" للنمو الاقتصادي المحلي (What Works Centre for Local Economic Growth) تسلسلاً هرمياً للأدلة مبنياً حولها — تجارب عشوائية مضبوطة حيث تكون العشوائية ممكنة وأخلاقية، وتصاميم شبه تجريبية حيث لا تكون كذلك. واختيار الطريقة ليس فكرة تقنية لاحقة: فهو يحدد ما إذا كان التقييم يستطيع الإجابة عن "هل سبّب البرنامج هذا؟" أم فقط "هل حدث هذا بعد بدء البرنامج؟"، وهو السؤال نفسه الذي بُني التحليل المضاد للواقع لإجبار الممارسين على طرحه قبل تكليف أي تقييم.
الحسابات
RCT:
Impact = mean(outcome | treatment group) − mean(outcome | control group)
(valid because assignment to treatment is random)
Difference-in-differences (DiD):
Impact = [outcome_after(treated) − outcome_before(treated)]
− [outcome_after(control) − outcome_before(control)]
(requires a "parallel trends" assumption: treated and control would have moved together
absent the intervention)
Propensity score matching (PSM):
1. Estimate P(treatment = 1 | covariates X) for every unit → propensity score
2. Match treated units to untreated units with similar propensity scores
3. Impact = mean(outcome | treated) − mean(outcome | matched control)
Regression discontinuity design (RDD):
Impact = jump in outcome observed at the eligibility threshold,
comparing units just above vs just below the cutoff
مثال توضيحي
سلطة محلية (الفرق في الفروق لبرنامج الأسر المضطربة): النتيجة هي الحضور المدرسي. تنتقل المنطقة المُعالَجة من حضور 84% إلى 89% (+5 نقاط مئوية) خلال فترة البرنامج؛ بينما تنتقل منطقة مماثلة غير مُعالَجة من 85% إلى 87% (+2 نقطة مئوية) خلال الفترة نفسها. تقدير أثر الفرق في الفروق: 5 − 2 = +3 نقاط مئوية قابلة للعزو إلى البرنامج. وبتطبيق ذلك على مجموعة من 2,000 تلميذ في المنطقة المُعالَجة، يتسق هذا مع نحو 60 تلميذاً إضافياً (3% × 2,000) يصلون إلى فئة الحضور الأعلى، وهو استقراء ينبغي الإبلاغ عنه مع تحفظه بشأن الاتجاهات المتوازية، لا كعدد رؤوس دقيق.
جمعية خيرية (مطابقة درجة الميل لجمعية خيرية للتأهيل الوظيفي): تُطابَق 300 مشارك في البرنامج مع 300 فرد من مجموعة بيانات إدارية أكبر باستخدام درجات ميل مبنية من العمر، وتاريخ التوظيف السابق، ومستوى المؤهل. معدل التوظيف بعد اثني عشر شهراً: المجموعة المُعالَجة المُطابَقة 46%، ومجموعة المقارنة المُطابَقة 33%. تقدير أثر مطابقة درجة الميل: 46% − 33% = +13 نقطة مئوية قابلة للعزو إلى البرنامج، بشرط عدم وجود متغير مُشوِّش غير مُلاحَظ (مثل الدافعية) يقود كلاً من المشاركة والنتيجة.
الصلة بهندسة البرمجيات
يعتمد ما إذا كان أي من هذه التصاميم ممكناً لاحقاً اعتماداً كبيراً على قرارات هندسة البيانات المتخذة مبكراً. فتصميم الانحدار غير المتصل يحتاج متغيراً جارياً (running variable) مُسجَّلاً بدقة وحد أهلية نظيفاً فعلياً؛ ويحتاج الفرق في الفروق بيانات لوحية قابلة للمقارنة عبر الزمن لكل من المناطق المُعالَجة ومناطق المقارنة، مما يعني عمليات ربط متسقة عبر الأنظمة والسنوات؛ وتحتاج مطابقة درجة الميل بيانات متغيرات مساعدة أساسية غنية تُلتقَط قبل المعالجة، لا تُعاد بناؤها لاحقاً. ونموذج بيانات مُصمَّم جنباً إلى جنب مع نظرية التغيير والنموذج المنطقي منذ البداية — يلتقط المتغيرات المساعدة الأساسية، والتواريخ، والسجلات المؤهلة لمجموعة المقارنة — هو ما يجعل تقييم الأثر الصارم ممكناً لاحقاً، بدلاً من تدافع مكلف بأثر رجعي. انظر تقييم الأثر مقابل تقييم العملية للسؤال المكمِّل الذي لا تجيب عنه هذه الطرق بمفردها.
المزالق
- إجبار تجربة عشوائية مضبوطة حيث تكون غير ممكنة أو غير أخلاقية، أو على العكس عدم النظر أبداً في تصميم شبه تجريبي حين تتوفر فرصة حقيقية له — حد سياسة، طرح مرحلي — ولم تُستغَل.
- تجاهل افتراض الاتجاهات المتوازية في الفرق في الفروق. إذا كانت منطقة المقارنة تتباعد أصلاً عن المنطقة المُعالَجة قبل التدخل، فإن المقارنة ذات النقطتين ملوَّثة؛ افحص الاتجاهات السابقة، لا قبل/بعد فقط.
- المطابقة فقط على المتغيرات المساعدة المُلاحَظة في مطابقة درجة الميل. يمكن للانتقاء غير المُلاحَظ، مثل دافعية المشارك، أن يُحيِّز التقدير حتى عندما تكون المتغيرات المساعدة المُلاحَظة متوازنة جيداً.
- التلاعب بالمتغير الجاري في تصميم الانحدار غير المتصل. إذا استطاع الأشخاص التأثير على درجتهم لتقع بالضبط داخل عتبة الأهلية، فإن عدم الاتصال لم يعد يعزل أثراً سببياً.
المصادر
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/