נושא 24 מתוך 64· ערך חברתי ומדידת השפעה
הערכת השפעה מול הערכת תהליך
הערכת השפעה שואלת אם תוכנית גרמה לתוצאות המיועדות שלה. הערכת תהליך שואלת אם התוכנית אכן סופקה כפי שתוכננה: למי, באיזו מינון, ועם אילו חסמים או גורמים מסייעים בדרך. אלה שאלות שונות הדורשות שיטות שונות, וה-Magenta Book של משרד האוצר הבריטי רואה בהזמנת שתיהן יחד נוהג סטנדרטי, משום שתוצאת השפעה חלשה או אפסית אינה ניתנת לפרשנות בפני עצמה: היא אינה יכולה לומר לכם אם התיאוריה שמאחורי התוכנית הייתה שגויה, או שתיאוריה טובה פשוט מעולם לא סופקה כראוי.
למה זה חשוב
הערכות ממשלתיות מצאו שוב ושוב שאין השפעה מדידה מתוכנית בלי שהייתה הערכת תהליך שתסביר מדוע, וכך הותירו את המזמינים בלי יכולת להבחין בין "הרעיון הזה לא עובד" (כשל תיאוריה) ל"הרעיון הזה מעולם לא נוסה כראוי" (כשל יישום). ההנחיות של Medical Research Council להערכת תהליך של התערבויות מורכבות, שפורסמו ב-BMJ ב-2015 ומצוטטות רבות לצד ה-Magenta Book, ביססו נאמנות (fidelity), מינון (dose) והיקף הגעה (reach) כדברים המרכזיים שהערכת תהליך חייבת למדוד. הזמנת הערכת השפעה בלי הערכת תהליך מסכנת נטישה של תכנון תוכנית נכון באמת משום שסופק למחצית האוכלוסייה המיועדת בשבריר מהעוצמה המיועדת, טעות שבונה מערכות נמצא בעמדה טובה למנוע, משום שנאמנות האספקה היא בדיוק מה שמערכות נתונים תפעוליות יכולות ללכוד כמעט בזמן אמת.
המתמטיקה
Process evaluation asks:
- Was it delivered to the target population, at the planned dose/intensity?
- Did delivery match the logic model / theory of change design?
- What barriers or facilitators affected delivery?
Methods: fidelity checks against pre-specified thresholds, case studies, interviews,
administrative delivery data.
Impact evaluation asks:
- What changed, and how much of that change is attributable to the programme?
Methods: RCT, DiD, PSM, RDD — see impact-evaluation-methods — against a counterfactual.
Combined diagnosis:
No effect + high fidelity → theory failure: the model itself did not produce the outcome
No effect + low fidelity → implementation failure: the model was never properly tested
Effect found + high fidelity → replicate with confidence
Effect found + low fidelity → investigate further: the effect may be fragile or site-specific
דוגמה מעובדת
רשות מקומית (תוכנית הורות): הערכת השפעה בהפרש הפרשים מוצאת שינוי של +2 נקודות אחוז במדד רווחת ילדים, שאינו מובהק סטטיסטית. הערכת התהליך, שנערכה במקביל, מוצאת שהתוכנית הגיעה ל-210 בלבד מתוך 500 המשפחות המיועדות (42% הגעה), ומתוכן רק 95 עמדו בסף הנאמנות שנקבע מראש של 75%+ מהמפגשים, 19% מההיקף המתוכנן המקורי. מסקנה: תוצאת ההשפעה החלשה עולה בקנה אחד עם כשל יישום, לא עם ראיה שמודל התוכנית אינו עובד; התגובה המתאימה היא תיקון מסלול ההפניה שגרם לנשירה של 58%, ולא נטישת תכנון התוכנית.
ארגון צדקה (תוכנית אוריינות דיגיטלית): הערכת השפעה מוצאת השפעה חזקה (+18 נקודות אחוז בציון ביטחון דיגיטלי), והערכת תהליך מקבילה מאשרת נאמנות של 92% לתוכנית הלימודים המתוכננת בכל 12 אתרי האספקה. במשולב, המממן יכול להרחיב את התוכנית בביטחון, משום שהוכח שההשפעה מחזיקה באופן עקבי ואינה תוצר של אתר אחד טוב במיוחד.
הקשר להנדסת תוכנה
נתוני הערכת תהליך הם בדיוק מה שמערכות אספקה מסוגלות ללכוד היטב: נוכחות מול התוכנית, מינון מפגשים ונשירה בכל שלב במשפך הפניה או הרשמה, אותם ניתוחי משפך שמהנדסים כבר בונים לפיצ'רים של מוצר, מיושמים על צינור האספקה של תוכנית חברתית. הזנת מדדי נאמנות והגעה למנהלי תוכנית כמעט בזמן אמת, ולא המתנה להערכה בסוף המענק, מאפשרת לתקן מסלול הפניה שבור באמצע התוכנית ולא לגלות אותו רק אחרי שתקופת המימון הסתיימה. ראו שיטות להערכת השפעה לתכנונים הסיבתיים שהערכת התהליך מזווגת איתם, תיאוריית שינוי ומודל לוגי לתכנון שמולו הערכת התהליך בודקת נאמנות, ומימוש תועלות למעקב אחר האספקה עד לתוצאות שהובטחו.
מכשולים נפוצים
- הזמנת הערכת השפעה בלבד. תוצאה אפסית או חלשה כבר אינה ניתנת לפרשנות ככשל תיאוריה או כשל יישום, וזו בדיוק ההבחנה שחשובה להחלטה מה לעשות הלאה.
- התייחסות להערכת תהליך כאל תוספת רכה. היא זקוקה לאותה קפדנות ולקריטריוני נאמנות שנקבעו מראש כמו תכנון ההשפעה, אחרת היא קורסת לאנקדוטה כשהתוצאות מגיעות.
- בלבול בין "בזמן ובתקציב" ל"סופק כפי שתוכנן". הערכת תהליך בודקת נאמנות למודל (מינון, קבוצת יעד, תוכן) ולא סטטוס RAG של ניהול פרויקטים.
- אי-רישום מראש של ספי נאמנות. קביעה בדיעבד של מהו "מינון מספק" גורמת לכל הסבר של תוצאת השפעה מאכזבת להיראות כתירוץ שנוסף אחר כך.
מקורות
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/