נושא 18 מתוך 64· ערך חברתי ומדידת השפעה

תיאוריית שינוי

תיאוריית שינוי (theory of change) היא מסלול סיבתי מפורש, ממופה לאחור, מיעד ארוך טווח אל תנאי הקדם והפעילויות שחייבים להתקיים כדי להשיג אותו, יחד עם ההנחות שמקשרות בין כל חוליה. היא נבנית בהתחלה מהתוצאה הרצויה ובשאלה "מה חייב להיות נכון מיד לפני כן, כדי שזה יקרה?", שוב ושוב, עד שמגיעים לפעילויות שאפשר באמת לספק. זה הכיוון ההפוך למודל לוגי, ולכן השניים משלימים זה את זה ואינם ניתנים להחלפה.

למה זה חשוב

שיטת המיפוי לאחור עוצבה רשמית על ידי Center for Theory of Change ו-ActKnowledge, בהסתמך על עבודתה של המעריכה קרול ווייס (Carol Weiss) בהפיכת הנחות של תוכניות למפורשות, כך שאפשר לבחון אותן ולא לקבל אותן על אמונה. הערכת מענקים בבריטניה ספגה זאת ישירות: ה-Magenta Book של משרד האוצר הבריטי (HM Treasury) רואה בתיאוריית שינוי נקודת פתיחה לכל תכנון הערכה, ומממנים כמו קרן הקהילה של הלוטו הלאומי (National Lottery Community Fund) דורשים ממגישים לנסח אחת לפני שיממנו הצעה. הסיבה שזה חשוב למהנדס תוכנה היא שתיאוריית שינוי היא המסמך שצריך לקבוע מה המערכת שלכם צריכה למדוד: אם שרשרת הסיבתיות אומרת "ניצול הקצבאות תלוי בכך שהתובעים מקבלים חישוב מותאם אישית", זו טענה ניתנת לבדיקה שאפשר לצייד את המוצר כדי להוכיח או להפריך.

המתמטיקה

תיאוריית שינוי היא מבנית ולא מספרית. כל חוליה צריכה לשאת גם הנחה וגם מדד שיכול להראות שההנחה שגויה:

Long-term outcome (the goal)
  ↑ precondition + assumption + indicator
Intermediate outcome N
  ↑ precondition + assumption + indicator
  ...
Intermediate outcome 1
  ↑ precondition + assumption + indicator
Activities / interventions
  ↑ resources committed
Inputs

המבנה הזה מזין ישירות את שיטות להערכת השפעה, שקיימות כדי לבחון אם ההנחות בכל חוליה מתקיימות באמת, ואת ניתוח קונטרפקטואלי, שבוחן אם התוצאה ארוכת הטווח הייתה מתרחשת בכל מקרה.

דוגמה מעובדת

רשות מקומית (מניעת חוסר דיור): התוצאה ארוכת הטווח היא שכירות יציבה לאחר 12 חודשים עבור משקי בית בסיכון לפינוי.

  • תנאי קדם: למשקי הבית יש תוכנית פירעון ריאלית ובת-השגה לחובות. הנחה: תוכניות שמנהל תיק משא ומתן עליהן יציבות יותר מאלה שנקבעו בצו בית משפט. מדד: אחוז התוכניות שעדיין פעילות לאחר 6 חודשים.
  • תנאי קדם: משקי הבית תובעים את הקצבאות להן הם זכאים. הנחה: מחשבון קצבאות דיגיטלי מגדיל תביעות נכונות לעומת טפסי נייר. מדד: שיעור דיוק התביעות, בהשוואה לפני ואחרי השקת הכלי.
  • פעילויות: מיון על ידי מנהל תיק, מחשבון קצבאות דיגיטלי, משא ומתן על חובות.

בקוהורט פיילוט של 120 משקי בית, הנחת מחשבון הקצבאות התקיימה אצל 102 משקי בית (85%) שהמשיכו לתבוע נכון, כפי שהוכח בהערכת תהליך שלאחר מכן. כך קיבל צוות התוכנית ראיות לחוליה הספציפית הזו ולא טענה אחת מקצה לקצה על מניעת חוסר דיור.

ארגון צדקה (חונכות נוער): התוצאה ארוכת הטווח היא הפחתה בהרחקות מבית הספר. תנאי קדם שמופו לאחור: ויסות רגשי משופר ← קשר אישי אמין אחד על אחד עם חונך ← קשר שבועי עקבי במשך שני סמסטרים. התיאוריה מבהירה שהיעדר תנאי הקדם של "קשר שבועי עקבי" (נניח עקב תחלופת חונכים) צופה שהתוצאה לא תתרחש. זוהי טענה ניתנת לבדיקה ולהפרכה ולא תקווה.

הקשר להנדסת תוכנה

תיאוריית שינוי צריכה לעצב את מודל הנתונים של מוצר לפני שנבנה לוח מחוונים אחד: לזהות לאילו חוליות נדרש מדד, ולצייד לכך במיוחד, במקום ברירת המחדל של מה שהכי קל לרשום ביומן. היא גם מכניסה משמעת לשיחות על מפת הדרכים: פיצ'ר שאינו ממופה לאף חוליה בשרשרת אינו שווה בנייה באופן מובן מאליו. ראו מודל לוגי לשרשרת האחריותיות הפונה קדימה שנבנית לאחר שהתיאוריה מוסכמת, החזר חברתי על השקעה לשיטה שתלויה בתיאוריית שינוי כדי להגדיר אילו תוצאות להעריך, ותוצאות לעומת תפוקות להבחנה שהחוליות של התוצאות הביניים תלויות בה.

מכשולים נפוצים

  • בלבול עם מודל לוגי. תיאוריית שינוי היא סיבתית ומסבירה (למה אנחנו מאמינים שזה עובד). מודל לוגי הוא רציף ותיאורי (מה קורה ובאיזה סדר). הפקת אחד בלבד משאירה חסר או את ה"למה" או את שביל האחריותיות.
  • השארת הנחות סמויות. כל הערך של מיפוי לאחור הוא בחשיפת הנחות שניתן לבחון. תיאוריית שינוי שרק מפרטת קופסאות וחצים בלי לנקוב במה עלול להפוך כל חוליה לשגויה היא קישוט.
  • בנייה חד-פעמית והנחתה על המדף. תיאוריית שינוי שנכתבה להצעת מימון ואינה נבחנת מחדש מפסיקה להועיל ברגע שהראיות מתחילות להתנגש בחוליה.
  • דילוג על קלט של בעלי עניין. תיאוריית שינוי שנבנתה כולה על ידי גופים מזמינים, בלי קלט מצוות החזית או מהמוטבים, נוטה לקודד הנחות שאיש מבין מספקי השירות אינו מאמין להן בפועל.

מקורות