נושא 8 מתוך 64· יסודות הערך הציבורי

ניתוח קונטרפקטואלי

מצב קונטרפקטואלי (counterfactual) הוא הערכה של מה שהיה קורה בהיעדר התערבות. בלעדיו אי אפשר להבחין בין שינוי שנצפה לאחר השקת תוכנית לבין שינוי שהיה קורה בכל מקרה: אין מצב נגדי, אין ראיה להשפעה, גם אם מספרי הלפני-ואחרי משכנעים ככל שיהיו. ה-Magenta Book של HM Treasury רואה בבניית מצב נגדי אמין את המשימה המתודולוגית המרכזית של הערכת השפעה, חשובה יותר מכל בחירת תכנון בודדת אחרת.

למה זה חשוב

"הפשיעה ירדה ב-15% בשנה שאחרי שהכנסנו את התוכנית" אינה ראיה שהתוכנית עבדה, אלא אם יודעים מה היה קורה לפשיעה בלעדיה. ייתכן שהפשיעה הייתה יורדת ב-20% בכל מקרה בגלל מגמות כלכליות או דמוגרפיות לא קשורות, כלומר התוכנית החמירה את המצב ביחס למצב הנגדי, אף שהמספר הגולמי השתפר. זו הטעות האנליטית הנפוצה ביותר בטענות השפעה במגזר הציבורי והחברתי: בלבול בין השוואת לפני/אחרי לבין ראיה לסיבתיות. ה-Magenta Book מפורש בכך שהערכת השפעה קיימת כדי לענות על שאלה קונטרפקטואלית, "איזה הבדל עשתה ההתערבות הזו?", ושמענה עליה דורש להעריך, ולא רק לתאר, את העולם שלא התרחש.

שיטות שונות בונות את המצב הנגדי ברמות ביטחון שונות, וההנחיות הממשלתיות להערכה מדרגות אותן בהתאם. ניסויים אקראיים מבוקרים (RCT), שבהם אנשים או אזורים מוקצים באקראי לקבל התערבות או לא, מפיקים את המצב הנגדי החזק ביותר, כי האקראיות מבטיחה שקבוצת הטיפול וקבוצת הבקרה שונות, בממוצע, רק בקבלת ההתערבות. Cabinet Office ורשת What Works קידמו RCT במדיניות הציבורית הבריטית מאז הדוח "Test, Learn, Adapt" של Behavioural Insights Team מ-2012, דווקא משום שתכנונים חלשים יותר פגיעים לבלבול (confounding): ההבדל הנצפה עשוי לשקף מי בחר להשתתף ולא את השפעת התוכנית. כשאקראיות אינה מעשית או אינה אתית (כפי שקורה לעיתים קרובות בתוכניות עם זכאות סטטוטורית, או בשינויי מדיניות לכלל האוכלוסייה), ה-Magenta Book קובע היררכיה מפורשת של חלופות חלשות יותר אך עדיין שימושיות: קבוצות השוואה תואמות, תכנוני הפרש בהפרשים (difference-in-differences), רגרסיית אי-רציפות סביב ספי זכאות, וכמוצא אחרון, השוואת לפני/אחרי פשוטה, המסומנת בבירור כצורת הראיה החלשה ביותר, הנוטה לבלבל בין השפעת התוכנית להשפעת כל מה שאחר שהשתנה באותו זמן.

המתמטיקה

מסגרת המצב הנגדי, הישימה לכל השיטות:

השפעה מוערכת = תוצאה(עם התערבות) − תוצאה(מצב נגדי: בלי התערבות)

לא:
השפעה מוערכת ≠ תוצאה(אחרי) − תוצאה(לפני)   [מבלבל בין זמן לטיפול]

הפרש בהפרשים (DiD), אחד מהתכנונים מעין-ניסוייים הנפוצים ביותר בהערכה ממשלתית, מבודד את אפקט הטיפול על ידי ניכוי השינוי לפני/אחרי של קבוצת ההשוואה עצמה:

אומדן DiD = [תוצאה(מטופלים, אחרי) − תוצאה(מטופלים, לפני)]
          − [תוצאה(השוואה, אחרי) − תוצאה(השוואה, לפני)]

פעולה זו מסירה כל מגמה משותפת לשתי הקבוצות (למשל שינוי כלכלי לאומי המשפיע על כולם), ומשאירה רק את השינוי הדיפרנציאלי שניתן לייחס להתערבות.

דוגמה מעובדת

תוכנית תעסוקה, לפני/אחרי (תכנון חלש): תוכנית תמיכה בעבודה מדווחת שתעסוקת המשתתפים עלתה מ-40% ל-55% במהלך שנה, ומסקנה נאיבית של "+15 נקודות אחוז בזכות התוכנית".

אותה תוכנית, הפרש בהפרשים (תכנון חזק יותר): קבוצת השוואה תואמת של אנשים דומים שלא השתתפו, מאותו שוק עבודה מקומי, מראה עלייה בתעסוקה מ-38% ל-47% באותה שנה (התאוששות כלכלית לאומית הייתה בעיצומה).

שינוי בקבוצה המטופלת:   55% − 40% = +15 נקודות אחוז
שינוי בקבוצת ההשוואה:   47% − 38% = +9 נקודות אחוז

אומדן DiD (אפקט התוכנית האמיתי) = 15 − 9 = +6 נקודות אחוז

האפקט הניתן לייחוס ביושר הוא 6 נקודות אחוז, לא 15. יותר ממחצית השיפור לכאורה בין לפני לאחרי היה מתרחש בלי קשר לתוכנית, בהנעת אותה התאוששות כלכלית שהרימה את קבוצת ההשוואה.

רגרסיית אי-רציפות, סף זכאות: תוכנית מענקים זמינה רק לעסקים עם פחות מ-50 עובדים. השוואת תוצאות של עסקים ממש מתחת לסף (45–49 עובדים, זכאים) מול עסקים ממש מעליו (50–54 עובדים, לא זכאים) מספקת מצב נגדי אמין, כי עסקים משני צדי חיתוך מנהלי שרירותי דומים אחרת, והסף, ולא מאפיין עסקי בסיסי כלשהו, קובע זכאות. הבדל תוצאה ממוצע של £2,000 בין שתי הקבוצות, שנצפה רק בסף, ניתן לייחוס למענק בביטחון גבוה בהרבה מהשוואה פשוטה של כל העסקים הזכאים מול כל הלא זכאים (שונים באופן שיטתי בגודלם).

הקשר להנדסת תוכנה

חשיבה קונטרפקטואלית צריכה לעצב את האופן שבו מתוכננות מערכות מעקב אחר השפעה וצינורות הערכה לתוכנה ממשלתית וחברתית:

  • לבנות איסוף של קבוצת השוואה במערכת מההתחלה, כלומר לרשום מי היה זכאי אך לא נרשם, או קוהורט תואם של לא-משתתפים, ולא להוסיף אותה בדיעבד אחרי שהתוכנית כבר רצה ויש רק נתוני לפני/אחרי.
  • כשאקראיות אפשרית (פריסה מדורגת, שירות דיגיטלי שמופעל לחלק מהמשתמשים לפני אחרים), למדוד את המערכת כך שהקצאה אקראית נשמרת כשדה שניתן לשאילתה. פריסה מדורגת הורסת בטעות את ערך ההערכה שלה אם סדר ההקצאה אינו נרשם.
  • זו שיטת היסוד שמאחורי שיטות להערכת השפעה, והיא מה שמבדיל אותה מהערכת השפעה לעומת הערכת תהליך, שזו האחרונה שואלת אם התוכנית נמסרה כפי שתוכנן ולא אם היא גרמה לאפקט.
  • תוספתיות ומשקל מת ודחיקה וייחוס הן שתיהן, בבסיסן, שאלות קונטרפקטואליות. משקל מת הוא "מה הייתה התוצאה הספציפית הזו בלי ההתערבות", המיושם ברמת ההתאמה ולא ברמת תכנון ההערכה המלא.

מכשולים נפוצים

  • התייחסות ללפני/אחרי כראיה לסיבתיות. זו הטעות הנפוצה והמשמעותית ביותר בדיווח השפעה במגזר הציבורי והחברתי. שינוי לפני/אחרי מבלבל בין השפעת התוכנית לכל דבר אחר ששינה באותה תקופה.
  • שימוש בקבוצת השוואה השונה באופן שיטתי מקבוצת הטיפול. קבוצת השוואה תואמת חייבת להיות דומה באמת במאפיינים רלוונטיים (ראו היררכיית השיטות של ניתוח קונטרפקטואלי ב-Magenta Book). השוואת משתתפי תוכנית (שבחרו להצטרף, ולעיתים קרובות מוטיבציה גבוהה יותר) מול לא-משתתפים (שלא בחרו) מסכנת הטיית בחירה המתחפשת לאפקט תוכנית.
  • השמדת הזדמנויות לאקראיות בעיצוב מסירה לקוי. פריסה מדורגת או אקראית שומרת על ערך ההערכה שלה רק אם ההקצאה אקראית באמת ורשומה. מתן אפשרות למנהלים מקומיים לבחור מי יתחיל ראשון מכשיל את המטרה.
  • הפרזה בדיוק מתכנון חלש. אומדן לפני/אחרי צריך להיות מוצג כמשמעי ולא כגודל אפקט שנמדד. היררכיית הראיות של ה-Magenta Book קיימת כדי שחוזק הטענה יתאים לחוזק התכנון שהפיק אותה.

מקורות

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).