נושא 20 מתוך 64· ערך חברתי ומדידת השפעה

תוצאות לעומת תפוקות

תפוקה היא התוצר הישיר והניתן לספירה של פעילות — היא קיימת ברגע שהמסירה מתרחשת, בלי קשר להשפעתה. תוצאה היא השינוי שנובע מכך עבור האנשים, המקום או המערכת הנוגעים בדבר. "500 אנשים השתתפו בסדנת חיפוש עבודה" היא תפוקה: היא נכונה גם אם אף אחד מהם לא מצא עבודה. "סיכויי התעסוקה של 500 אנשים השתפרו" היא טענת תוצאה, והיא דורשת ראיות לשינוי, לא רק ראיות להשתתפות — הבלבול שמניב יותר דוחות מענקים מטעים מכמעט כל טעות מדידה אחרת במגזר.

למה זה חשוב

ה-Magenta Book של משרד האוצר הבריטי (HM Treasury) ומימנים כמו National Lottery Community Fund דורשים דיווח על תוצאות דווקא משום שתפוקות הן מה שתוכניות מדווחות כברירת מחדל: קל לספור אותן, הן תמיד זמינות, ותמיד נראות חיוביות. ספירת תפוקות לא יכולה להתקצר מילולית בשל כישלון התוכנית — יותר מפגשים שנמסרו הם תמיד "יותר", בעוד שתוצאה יכולה לחשוף שתוכנית אינה עובדת. מבקר המדינה הבריטי (National Audit Office) ביקר שוב ושוב תוכניות ממשלתיות על דיווח רמות פעילות כאילו היו ראיה להצלחה; מערכת תוכנה שמקלה רק על דיווח תפוקות מחזקת זאת כברירת מחדל, משום שתפוקות אינן דורשות איסוף נתוני מעקב ותוצאות כן.

המתמטיקה

אין נוסחה, אך יש מבחן אמין לסיווג מדד:

מבחן תפוקה:  האם ניתן לספור אותו בנקודת המסירה, והוא נכון גם אם הנמען לא הושפע?
מבחן תוצאה:  האם הוא דורש השוואה לפני/אחרי או עם/בלי כדי להיות בעל משמעות?

אם מספר יכול להיות נכון עם אפס תועלת לכל אדם, הוא תפוקה.

זה יושב בתוך שרשרת המודל הלוגי הרחבה יותר ותלוי בקשרי התוצאות המוגדרים בתיאוריית שינוי; המרת תוצאה לכסף משתמשת בשיטות של החזר חברתי על השקעה.

דוגמה מעובדת

רשות מקומית (תמיכה בתעסוקה): תפוקה — 500 איש השתתפו בסדנאות חיפוש עבודה. תוצאה — במעקב לאחר 12 חודשים, 140 מתוך אותם 500 (28%) בתעסוקה יציבה (6 חודשים ומעלה). לקבוצת השוואה בעלת מאפיינים דומים אך בלי גישה לתוכנית יש שיעור תעסוקה בסיסי של 15% באותה תקופה. עליית התוצאה הנקייה: 28% − 15% = 13 נקודות אחוז, כך שמוערך ש-500 × 0.13 = 65 אנשים נוספים עובדים שלא היו עובדים אחרת — התוצאה הניתנת לייחוס, שונה הן מנתון ההשתתפות של 500 והן מספירת התעסוקה הגולמית של 140.

ארגון צדקה (ארגון אוריינות): תפוקה — 1,200 מפגשי קריאה שנמסרו ל-300 ילדים. תוצאה — גיל הקריאה הממוצע השתפר ב-8 חודשים על פני תקופה של 6 חודשים, לעומת קו בסיס צפוי של התקדמות טבעית של 6 חודשים בתקופה של 6 חודשים. רווח התוצאה הנקי: 8 − 6 = 2 חודשי שיפור נוספים בגיל הקריאה לכל ילד שניתנים לייחוס לתוכנית, ולא נתון ה-8 חודשים המלא.

הקשר להנדסת תוכנה

יומני אירועים ומערכות טרנזקציוניות מכשירים תפוקות כמעט אוטומטית — צפיות בדפים, מפגשים, פניות שנסגרו, פגישות שנקבעו — משום שהן נוצרות מכך שהמערכת עושה את עבודתה. תוצאות דורשות מודל נתונים הלוכד את אותו אדם בנקודת זמן מאוחרת יותר מול קו בסיס או השוואה, וצריך לתכנן אותו במכוון: סקרי מעקב, רשומות מנהליות מקושרות, או קוהורט השוואה. כלי דיווח התומך רק בראשון יוביל בשקט ארגון לדיווח תפוקות בלבד לא משנה מה המימן ביקש. ראו מודל לוגי להיכן שתוצאות יושבות בשרשרת הדיווחיות, עלות לתוצאה להפיכת ההבחנה למדד עלות יחידה, וKPI במגזר הציבורי לדפוס הרחב יותר של בחירת מדדים.

מכשולים נפוצים

  • דיווח על תפוקות כאילו היו תוצאות. "500 איש השתתפו" מרמז על תועלת בלי להוכיח אותה; יש לתייג השתתפות במפורש כתפוקה.
  • היעדר קו בסיס או קבוצת השוואה. נתון תוצאה בלי תרחיש קונטרפקטואלי — ראו ניתוח קונטרפקטואלי — אינו יכול להפריד בין אפקט התוכנית למה שהיה קורה בכל מקרה.
  • אופטימיזציה למדד המממן. כשהמימון קשור להיקף תפוקות, צוותי אספקה ממקסמים באופן רציונלי השתתפות על חשבון שינוי עמיד, מצב כשל של חוק Goodhart.
  • שטיפת תוצאות (outcome washing). מתן שם בלשון של תוצאות למדד תפוקה ("תוצאות מעורבות: 500 משתתפים") בלי שום מדידת מעקב מאחוריו.

מקורות