الموضوع 24 من 64· القيمة الاجتماعية وقياس الأثر

تقييم الأثر مقابل تقييم العملية

يسأل تقييم الأثر ما إذا كان البرنامج قد سبّب النتائج المقصودة منه. ويسأل تقييم العملية ما إذا كان البرنامج قد نُفِّذ فعلياً كما صُمِّم — لمن، وبأي جرعة، وبأي عوائق أو عوامل ميسِّرة على طول الطريق. وهذان سؤالان مختلفان يتطلبان طرقاً مختلفة، ويعامل الكتاب الأرجواني الصادر عن وزارة الخزانة البريطانية تكليف كليهما معاً كممارسة معيارية، لأن نتيجة أثر ضعيفة أو معدومة لا يمكن تفسيرها بمفردها: فهي لا تستطيع أن تخبرك ما إذا كانت نظرية البرنامج الأساسية خاطئة، أم أن نظرية جيدة لم تُنفَّذ ببساطة على النحو الصحيح.

لماذا يهم الأمر

وجدت التقييمات الحكومية مراراً عدم وجود أثر قابل للقياس من برنامج ما دون وجود تقييم عملية يفسّر السبب — تاركةً المُكلِّفين عاجزين عن التمييز بين "هذه الفكرة لا تنجح" (فشل نظري) و"هذه الفكرة لم تُجرَّب فعلياً على النحو الصحيح قط" (فشل تنفيذي). وقد أضفت إرشادات مجلس أبحاث الطب (Medical Research Council) بشأن تقييم عملية التدخلات المعقدة، المنشورة في مجلة BMJ عام 2015 والمُستشهد بها على نطاق واسع جنباً إلى جنب مع الكتاب الأرجواني، طابعاً رسمياً على الدقة (fidelity) والجرعة والوصول باعتبارها الأمور الأساسية التي يجب أن يقيسها تقييم العملية. وتكليف تقييم أثر دون تقييم عملية يخاطر بالتخلي عن تصميم برنامج سليم فعلياً لأنه نُفِّذ لنصف السكان المستهدفين وبجزء بسيط من الشدة المقصودة — وهو خطأ يستطيع بانٍ للأنظمة منعه جيداً، لأن دقة التنفيذ هي بالضبط ما يمكن لأنظمة البيانات التشغيلية التقاطه في زمن شبه فعلي.

الحسابات

Process evaluation asks:
 - Was it delivered to the target population, at the planned dose/intensity?
 - Did delivery match the logic model / theory of change design?
 - What barriers or facilitators affected delivery?
 Methods: fidelity checks against pre-specified thresholds, case studies, interviews,
          administrative delivery data.

Impact evaluation asks:
 - What changed, and how much of that change is attributable to the programme?
 Methods: RCT, DiD, PSM, RDD — see impact-evaluation-methods — against a counterfactual.

Combined diagnosis:
 No effect  + high fidelity  → theory failure: the model itself did not produce the outcome
 No effect  + low fidelity   → implementation failure: the model was never properly tested
 Effect found + high fidelity → replicate with confidence
 Effect found + low fidelity  → investigate further: the effect may be fragile or site-specific

مثال توضيحي

سلطة محلية (برنامج تربية الأبناء): يجد تقييم أثر باستخدام الفرق في الفروق تغيّراً بمقدار +2 نقطة مئوية في مقياس رفاه الطفل — غير ذي دلالة إحصائية. ويجد تقييم العملية، الذي أُجري بالتوازي، أن البرنامج وصل إلى 210 أسر فقط من أصل 500 أسرة مستهدفة (نسبة وصول 42%)، ومن بين هؤلاء، أكمل 95 فقط عتبة الدقة المُحدَّدة مسبقاً البالغة 75%+ من الجلسات المحضورة — أي 19% من نسبة الوصول المخطط لها أصلاً. الاستنتاج: نتيجة الأثر الضعيفة تتسق مع فشل تنفيذي، لا مع دليل على أن نموذج البرنامج لا يعمل؛ والاستجابة المناسبة هي إصلاح مسار الإحالة الذي تسبب في تسرب 58%، لا التخلي عن تصميم البرنامج.

جمعية خيرية (برنامج محو الأمية الرقمية): يجد تقييم أثر تأثيراً قوياً (+18 نقطة مئوية في درجة الثقة الرقمية)، ويؤكد تقييم عملية موازٍ دقة تنفيذ بنسبة 92% للمنهج المخطط له عبر جميع مواقع التسليم الاثني عشر. ومجتمعَين، يستطيع الممول توسيع نطاق البرنامج بثقة، لأن الأثر ثبت أنه يصمد باتساق بدلاً من أن يكون نتاج موقع واحد جيد بشكل استثنائي.

الصلة بهندسة البرمجيات

بيانات تقييم العملية هي بالضبط ما تكون أنظمة التسليم في وضع جيد لالتقاطه: الحضور مقارنةً بالخطة، وجرعة الجلسة، والتسرب في كل مرحلة من مسار إحالة أو تسجيل — وهي تحليلات القمع (funnel) نفسها التي يبنيها المهندسون أصلاً لسمات المنتج، مُطبَّقة بدلاً من ذلك على خط أنابيب تسليم برنامج اجتماعي. وتغذية مديري البرامج بمقاييس الدقة والوصول في زمن شبه فعلي، بدلاً من الانتظار حتى تقييم نهاية المنحة، تتيح إصلاح مسار إحالة معطل في منتصف البرنامج بدلاً من اكتشافه فقط بعد انتهاء فترة التمويل. انظر طرق تقييم الأثر للتصاميم السببية التي يقترن بها تقييم العملية، ونظرية التغيير والنموذج المنطقي للتصميم الذي يفحص تقييم العملية دقته مقابله، و تحقيق المنافع لتتبّع التسليم حتى النتائج التي وُعِد بها.

المزالق

  • تكليف تقييم أثر وحده. لا يمكن حينها تفسير نتيجة معدومة أو ضعيفة كفشل نظري أو فشل تنفيذي، وهو بالضبط التمييز المهم لتحديد الخطوة التالية.
  • معاملة تقييم العملية كإضافة هامشية. يحتاج الصرامة نفسها ومعايير الدقة المُحدَّدة مسبقاً التي يحتاجها تصميم الأثر، وإلا انهار إلى مجرد حكايات متفرقة عند ورود النتائج.
  • الخلط بين "في الموعد وضمن الميزانية" و"نُفِّذ كما صُمِّم". يفحص تقييم العملية الدقة مقابل النموذج — الجرعة، والفئة المستهدفة، والمحتوى — لا حالة إدارة المشروع اللونية (RAG).
  • عدم تسجيل عتبات الدقة مسبقاً. تحديد ما يُعدّ "جرعة كافية" بعد وقوع الحدث يجعل أي تفسير لنتيجة أثر مخيبة للآمال يبدو وكأنه تبرير لاحق.

المصادر