الموضوع 8 من 64· أسس القيمة العامة

التحليل المضاد للواقع

الحالة المضادة للواقع هي تقدير لما كان سيحدث في غياب التدخل. وبدونها، لا يمكن التمييز بين تغيّر مُلاحَظ بعد إطلاق برنامج وتغيّر كان سيحدث على أي حال — فبلا حالة مضادة للواقع، لا يوجد دليل على الأثر، مهما بدت أرقام "قبل وبعد" مقنعة. ويعامل الكتاب الأرجواني (Magenta Book) الصادر عن وزارة الخزانة البريطانية بناءَ حالة مضادة للواقع موثوقة بوصفه المهمة المنهجية المركزية في تقييم الأثر، وأهم من أي خيار تصميمي منفرد آخر.

لماذا يهم الأمر

عبارة "انخفضت الجريمة بنسبة 15% في العام التالي لإطلاق البرنامج" ليست دليلاً على نجاح البرنامج ما لم تعرف ما كان سيحدث للجريمة بدونه — فقد تكون الجريمة قد انخفضت بنسبة 20% على أي حال بفعل اتجاهات اقتصادية أو ديموغرافية غير ذات صلة، بما يعني أن البرنامج جعل الأمور أسوأ فعلياً مقارنةً بالحالة المضادة للواقع، رغم تحسّن الرقم الخام. وهذا هو الخطأ التحليلي الأكثر شيوعاً في ادّعاءات الأثر بالقطاع العام والقطاع الاجتماعي: الخلط بين مقارنة قبل/بعد ودليل على السببية. ويوضح الكتاب الأرجواني صراحةً أن تقييم الأثر يوجد للإجابة عن سؤال مضاد للواقع — "ما الفرق الذي أحدثه هذا التدخل؟" — وأن الإجابة عنه تتطلب تقدير العالم الذي لم يحدث، لا وصفه فقط.

وتبني طرق مختلفة الحالة المضادة للواقع بدرجات ثقة متفاوتة، وترتّبها إرشادات التقييم الحكومية وفقاً لذلك. فالتجارب العشوائية المضبوطة (RCTs)، حيث يُوزَّع الأفراد أو المناطق عشوائياً بين تلقّي التدخل أو عدمه، تُنتج أقوى حالة مضادة للواقع لأن العشوائية تضمن ألا تختلف مجموعتا المعالجة والضبط، في المتوسط، إلا في تلقّي التدخل. وقد روّج مكتب مجلس الوزراء وشبكة "ما ينجح" (What Works Network) للتجارب العشوائية المضبوطة عبر السياسات العامة البريطانية منذ تقرير "Test, Learn, Adapt" الصادر عام 2012 عن فريق الرؤى السلوكية (Behavioural Insights Team)، تحديداً لأن التصاميم الأضعف عرضة للمتغيرات المُشوِّشة — إذ قد يعكس الفرق المُلاحَظ من اختار المشاركة، لا أثر البرنامج. وحيث تكون العشوائية غير عملية أو غير أخلاقية (كما هو الحال غالباً في البرامج ذات الاستحقاق القانوني، أو التغييرات السياسية الشاملة للسكان)، يضع الكتاب الأرجواني تسلسلاً هرمياً صريحاً لبدائل أضعف لكنها لا تزال مفيدة: مجموعات مقارنة مطابَقة، وتصاميم الفرق في الفروق (difference-in-differences)، والانحدار غير المتصل (regression discontinuity) حول عتبات الأهلية، وأخيراً، وكملاذ أخير، مقارنة بسيطة قبل/بعد — يُشار إليها صراحةً بأنها أضعف أشكال الأدلة، وعرضة للخلط بين أثر البرنامج وأثر كل شيء آخر تغيّر في الوقت نفسه.

الحسابات

إطار الحالة المضادة للواقع، القابل للتطبيق عبر جميع الطرق:

Estimated impact = Outcome(with intervention) − Outcome(counterfactual: without intervention)

NOT:
Estimated impact ≠ Outcome(after) − Outcome(before)   [confounds time with treatment]

ويعزل تصميم الفرق في الفروق، وهو أحد أشيع التصاميم شبه التجريبية في التقييم الحكومي، أثرَ المعالجة بطرح التغيّر الخاص بمجموعة المقارنة نفسها قبل/بعد:

DiD estimate = [Outcome(treated, after) − Outcome(treated, before)]
             − [Outcome(comparison, after) − Outcome(comparison, before)]

وهذا يُزيل أي اتجاه مشترك بين المجموعتين (مثل تحوّل اقتصادي وطني يؤثر على الجميع)، تاركاً فقط التغيّر التفاضلي القابل للعزو إلى التدخل.

مثال توضيحي

برنامج دعم توظيف، قبل/بعد (تصميم ضعيف): يُبلغ مخطط دعم وظيفي بأن توظيف المشاركين ارتفع من 40% إلى 55% خلال عام — وهو استنتاج ساذج بـ"+15 نقطة مئوية بفضل البرنامج".

البرنامج نفسه، الفرق في الفروق (تصميم أقوى): تُظهر مجموعة مقارنة مطابَقة من غير مشاركين مماثلين، مستمدة من سوق العمل المحلي نفسه، ارتفاع التوظيف من 38% إلى 47% خلال العام نفسه (كان هناك تعافٍ اقتصادي وطني جارٍ في تلك الفترة).

Treated group change:    55% − 40% = +15 percentage points
Comparison group change: 47% − 38% = +9 percentage points

DiD estimate (true programme effect) = 15 − 9 = +6 percentage points

الأثر الصادق القابل للعزو هو 6 نقاط مئوية، لا 15 — إذ كان أكثر من نصف التحسّن الظاهري قبل/بعد سيحدث بصرف النظر عن البرنامج، مدفوعاً بالتعافي الاقتصادي نفسه الذي رفع مجموعة المقارنة.

الانحدار غير المتصل، عتبة الأهلية: مخطط منح متاح فقط للشركات التي يقل عدد موظفيها عن 50 موظفاً. ومقارنة نتائج الشركات القريبة تحت العتبة (45-49 موظفاً، مؤهلة) بالشركات القريبة فوقها (50-54 موظفاً، غير مؤهلة) تُوفّر حالة مضادة للواقع موثوقة لأن الشركات على جانبي حد إداري اعتباطي متشابهة في كل شيء آخر — فالعتبة، لا أي خاصية جوهرية للشركة، هي ما يحدد الأهلية. وفرق متوسط قدره 2,000 جنيه إسترليني في النتيجة بين المجموعتين، مُلاحَظ فقط عند العتبة، قابل للعزو إلى المنحة بثقة أكبر بكثير من مقارنة بسيطة بين جميع الشركات المؤهلة وجميع الشركات غير المؤهلة (التي تختلف بشكل منهجي في الحجم).

الصلة بهندسة البرمجيات

ينبغي أن يشكّل التفكير المضاد للواقع كيفية تصميم أنظمة تتبّع الأثر وخطوط أنابيب التقييم لبرمجيات الحكومة والقطاع الاجتماعي:

  • بناء التقاط مجموعة المقارنة داخل النظام منذ البداية — بتسجيل من كان مؤهلاً لكنه لم يُسجَّل، أو مجموعة غير مشاركة مطابَقة — بدلاً من إضافته بأثر رجعي بعد انتهاء البرنامج وعندما لا تتوفر إلا بيانات قبل/بعد.
  • حيث تكون العشوائية ممكنة (طرح مرحلي، خدمة رقمية تُفعَّل لبعض المستخدمين قبل غيرهم)، تجهيز النظام للحفاظ على التوزيع العشوائي كحقل قابل للاستعلام؛ فالطرح المرحلي يدمّر عن غير قصد قيمته التقييمية إذا لم يُسجَّل ترتيب التوزيع.
  • هذه هي الطريقة التأسيسية وراء طرق تقييم الأثر وهي ما يميزها عن تقييم الأثر مقابل تقييم العملية، الذي يسأل الأخير منهما ما إذا كان البرنامج قد نُفِّذ كما هو مقصود لا ما إذا كان قد أحدث أثراً.
  • الإضافية والوزن الميت و الإزاحة والعزو كلاهما، في جوهره، سؤالان مضادان للواقع — فالوزن الميت هو "ماذا كانت ستكون هذه النتيجة المحددة بدون التدخل"، مُطبَّقاً على مستوى التعديل بدلاً من تصميم تقييم كامل.

المزالق

  • معاملة قبل/بعد كدليل على السببية. هذا هو الخطأ الأكثر شيوعاً وأهمية في تقارير الأثر بالقطاع العام والاجتماعي؛ فالتغيّر قبل/بعد يخلط بين أثر البرنامج وأثر كل شيء آخر تغيّر خلال الفترة نفسها.
  • استخدام مجموعة مقارنة تختلف منهجياً عن المجموعة المُعالَجة. يجب أن تكون مجموعة المقارنة المطابَقة مماثلة فعلياً في الخصائص ذات الصلة (انظر التسلسل الهرمي لطرق التحليل المضاد للواقع في الكتاب الأرجواني)؛ فمقارنة مشاركي البرنامج (الذين اختاروا المشاركة، وغالباً ما يكونون أكثر تحفيزاً) بغير المشاركين (الذين لم يختاروا) يخاطر بتحيّز الاختيار متنكراً في زي أثر البرنامج.
  • تدمير فرص العشوائية بتصميم تسليم سيئ. لا يحافظ الطرح المرحلي أو العشوائي على قيمته التقييمية إلا إذا كان التوزيع عشوائياً فعلياً ومُسجَّلاً — فترك المديرين المحليين يختارون من يذهب أولاً يُفسد الغرض.
  • المبالغة في ادّعاء الدقة من تصميم ضعيف. ينبغي تقديم تقدير قبل/بعد كمؤشر توجيهي، لا كحجم أثر مقيس؛ ويوجد التسلسل الهرمي للأدلة في الكتاب الأرجواني حتى تتناسب قوة الادّعاء مع قوة التصميم الذي أنتجه.

المصادر

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).