נושא 23 מתוך 64· ערך חברתי ומדידת השפעה

שיטות להערכת השפעה

שיטות להערכת השפעה הן התכנונים הסטטיסטיים והניסויים שמשמשים להערכת מה שמדיניות או תוכנית אכן גרמה, להבדיל ממה שהיה קורה בכל מקרה: ניסויים מבוקרים אקראיים (RCT), הפרש הפרשים, התאמת ציוני נטייה (propensity score matching) ותכנון רגרסיה לא רציפה (regression discontinuity) הם ארבעת התכנונים הנפוצים ביותר במדיניות הציבורית הבריטית. הם קיימים משום שאת רוב ההתערבויות הממשלתיות אי אפשר לבדוק במעבדה: אי אפשר להגריל איזו עיר תקבל קו אוטובוס חדש כפי שמגרילים איזה חולה יקבל תרופה, ולכן השיטות האלה שואלות את אותה לוגיקה סיבתית בלי לדרוש תמיד הקצאה אקראית.

למה זה חשוב

ה-Magenta Book של משרד האוצר הבריטי, נספח A על שיטות מעין-ניסוייות, הוא ההנחיה הקנונית של ממשלת בריטניה לבחירה בין התכנונים האלה, וגופים כמו Education Endowment Foundation ו-What Works Centre for Local Economic Growth מעגנים מוסדית היררכיית ראיות הבנויה סביבם: RCT כשאקראיות אפשרית ואתית, תכנונים מעין-ניסוייים כשלא. בחירת השיטה אינה מחשבה טכנית שנייה: היא קובעת אם הערכה יכולה לענות על "האם התוכנית גרמה לכך?" או רק על "האם זה קרה אחרי שהתוכנית התחילה?", וזוהי אותה שאלה שניתוח תרחיש נגדי בנוי לכפות על העוסקים לשאול לפני שמזמינים כל הערכה.

המתמטיקה

RCT:
  Impact = mean(outcome | treatment group) − mean(outcome | control group)
  (valid because assignment to treatment is random)

Difference-in-differences (DiD):
  Impact = [outcome_after(treated) − outcome_before(treated)]
         − [outcome_after(control) − outcome_before(control)]
  (requires a "parallel trends" assumption: treated and control would have moved together
   absent the intervention)

Propensity score matching (PSM):
  1. Estimate P(treatment = 1 | covariates X) for every unit → propensity score
  2. Match treated units to untreated units with similar propensity scores
  3. Impact = mean(outcome | treated) − mean(outcome | matched control)

Regression discontinuity design (RDD):
  Impact = jump in outcome observed at the eligibility threshold,
           comparing units just above vs just below the cutoff

דוגמה מעובדת

רשות מקומית (הפרש הפרשים לתוכנית למשפחות במצוקה): התוצאה היא נוכחות בבית הספר. באזור המטופל הנוכחות עולה מ-84% ל-89% (+5 נקודות אחוז) לאורך תקופת התוכנית; באזור דומה שלא טופל היא עולה מ-85% ל-87% (+2 נקודות אחוז) באותה תקופה. אומדן ההשפעה בהפרש הפרשים: 5 − 2 = +3 נקודות אחוז שניתן לייחס לתוכנית. כשמיישמים זאת על מחזור של 2,000 תלמידים באזור המטופל, זה עולה בקנה אחד עם כ-60 תלמידים נוספים (3% × 2,000) שמגיעים לקטגוריית הנוכחות הגבוהה יותר, אקסטרפולציה שיש לדווח עליה עם הסתייגות המגמות המקבילות שלה ולא כספירת ראשים מדויקת.

ארגון צדקה (התאמת ציוני נטייה לארגון לכשירות תעסוקתית): 300 משתתפי תוכנית מותאמים ל-300 אנשים ממאגר נתונים מנהלי גדול יותר באמצעות ציוני נטייה שנבנו מגיל, היסטוריית תעסוקה קודמת ורמת הסמכה. שיעור תעסוקה לאחר שנים-עשר חודשים: קבוצה מטופלת מותאמת 46%, קבוצת השוואה מותאמת 33%. אומדן ההשפעה בהתאמת ציוני נטייה: 46% − 33% = +13 נקודות אחוז שניתן לייחס לתוכנית, בכפוף לכך שאין גורם מתערב שלא נצפה (כמו מוטיבציה) שמניע גם השתתפות וגם תוצאה.

הקשר להנדסת תוכנה

האפשרות לממש כל אחד מהתכנונים האלה בהמשך תלויה במידה רבה בהחלטות הנדסת נתונים שהתקבלו מוקדם. תכנון רגרסיה לא רציפה דורש משתנה ריצה שנרשם במדויק וסף זכאות נקי באמת; הפרש הפרשים דורש נתוני פאנל ברי-השוואה לאורך זמן הן לאזורים מטופלים והן לאזורי השוואה, כלומר צירופים עקביים בין מערכות ושנים; התאמת ציוני נטייה דורשת נתוני משתני בסיס עשירים שנאספו לפני הטיפול, לא שוחזרו אחריו. מודל נתונים שתוכנן מההתחלה לצד תיאוריית שינוי ומודל לוגי, שמתעד משתני בסיס, תאריכים ורשומות הזכאיות לקבוצת השוואה, הוא מה שהופך הערכת השפעה קפדנית לאפשרית בהמשך, במקום מירוץ יקר בדיעבד. ראו הערכת השפעה מול הערכת תהליך לשאלה המשלימה שהשיטות האלה אינן עונות עליה לבדן.

מכשולים נפוצים

  • כפיית RCT במקום שאינו ישים או אינו אתי, או להפך, אי-שקילה של תכנון מעין-ניסויי כשהייתה הזדמנות אמיתית לכך (סף מדיניות, פריסה בשלבים) שלא נוצלה.
  • התעלמות מהנחת המגמות המקבילות בהפרש הפרשים. אם אזור ההשוואה כבר התפצל מהאזור המטופל לפני ההתערבות, השוואת שתי הנקודות מזוהמת; יש לבדוק מגמות מוקדמות, לא רק לפני/אחרי.
  • התאמה רק על משתנים נצפים בהתאמת ציוני נטייה. בחירה לא נצפית, כמו מוטיבציה של משתתפים, יכולה להטות את האומדן גם כשהמשתנים הנצפים מאוזנים היטב.
  • מניפולציה במשתנה הריצה בתכנון רגרסיה לא רציפה. אם אנשים יכולים להשפיע על הציון שלהם כך שייפלו ממש בתוך סף הזכאות, אי-הרציפות כבר אינה מבודדת השפעה סיבתית.

מקורות