נושא 27 מתוך 64· מדדי ביצוע ואספקה בממשלה
דיווחיות מבוססת תוצאות (OBA)
דיווחיות מבוססת תוצאות (Outcomes-Based Accountability), הנקראת גם Results-Based Accountability (RBA), היא המסגרת של Mark Friedman להפרדה בין שתי שאלות שדיווח במגזר הציבורי נוהג לטשטש: "האם האוכלוסייה מצליחה?" (דיווחיות אוכלוסייה) ו"האם התוכנית הספציפית הזו מצליחה?" (דיווחיות ביצועים). ערבוב בין השתיים הוא, לפי Friedman, הסיבה הנפוצה ביותר לכך שתוכניות מנוהלות היטב מואשמות במגמות אוכלוסייה שמעולם לא היה בכוחן להזיז.
למה זה חשוב
Friedman הציג את המסגרת ב-Trying Hard Is Not Good Enough (2005), וטען שרוב הדיווח הציבורי או מציף את מקבלי ההחלטות בסטטיסטיקות ברמת האוכלוסייה שאף סוכנות אינה שולטת בהן (שיעור הריונות בנוער, שיעור אבטלה, תוחלת חיים) או מציף אותם בספירות פעילות ברמת התוכנית (לקוחות שטופלו, הפניות שנעשו) שאינן אומרות דבר על כך שחייו של מישהו השתפרו. תרומתה של RBA היא אוצר מילים קטן ומשמעתי ששומר על ההפרדה: תוצאות אוכלוסייה (תנאי רווחה של אוכלוסייה שלמה, כמו "ילדים נולדים בריאים") אינן שייכות לשום סוכנות בודדת ודורשות שותפים רבים הנעים יחד; מדדי ביצועים (עד כמה תוכנית מסוימת משרתת את לקוחותיה הספציפיים) שייכים לסוכנות אחת ויש לשפוט אותם רק מול מה שאותה סוכנות יכולה באמת להשפיע עליו. "שלוש שאלות הביצועים" של Friedman — כמה עשינו, עד כמה עשינו זאת היטב, והאם מישהו במצב טוב יותר? — מוטמעות כיום בהתקשרויות שירותי רווחה במדינות ובמחוזות בארה"ב, וכן, באמצעות חברת הייעוץ וערכת הכלים Clear Impact המותאמות ל-RBA, נמצאות בשימוש נרחב בהזמנת שירותים של שלטון מקומי בבריטניה ובחבר העמים. ההימור המעשי הוא חוזי: תוכנית דיור לא צריכה להיות מוגדרת לסגירה בגלל ששיעור חסרי הבית בעיר עלה מסיבות מקרו-כלכליות שמחוץ להישג ידה, אך בהחלט צריכה להיסגר אם לקוחותיה שלה אינם מקבלים דיור.
המתמטיקה
דיווחיות אוכלוסייה (ה"תמונה הגדולה" שקהילה, אזור או אומה חולקים):
תוצאה (Result) — תנאי של רווחה (למשל "התושבים מובטחים כלכלית")
מחוון/ים — מדד של אותו תנאי (למשל שיעור אבטלה, הכנסה חציונית למשק בית)
→ אף תוכנית בודדת אינה הבעלים של המחוון; שינוי דורש תורמים רבים
דיווחיות ביצועים (מה שתוכנית אחת אחראית לו):
כמה עשינו? — היקף פעילות (לקוחות שטופלו, יחידות שנמסרו)
עד כמה עשינו זאת היטב? — איכות/יעילות (% שסיימו את התוכנית, עלות ללקוח)
האם מישהו במצב טוב יותר? — התוצאה החשובה (% מועסקים 6 חודשים לאחר
התוכנית, לפני/אחרי או מול קבוצת השוואה)
תוכנית נשפטת לפי שאלת הביצועים השלישית, לעולם לא לפי מחוון האוכלוסייה
ישירות, אלא אם קנה המידה והתכנון שלה יכולים להזיז אותו לבדם באופן סביר.
דוגמה מעובדת
תוכנית תמיכה בתעסוקה במימון עירוני, 500 משתתפים בשנה, בהתקשרות עם רשות מקומית במסגרת ביצועים בסגנון RBA:
מחוון אוכלוסייה (הקשר, לא כרטיס הניקוד של התוכנית):
שיעור האבטלה בעיר: 6.2% (עלייה מ-5.8% בשנה הקודמת, בגלל סגירת מפעל
שמחוץ לשליטת התוכנית)
מדדי ביצועים (הדיווחיות האמיתית של התוכנית):
כמה: 500 משתתפים נרשמו (יעד 480) — הושג
עד כמה היטב: שיעור השלמה 78%; עלות למי שהשלים = £340,000 / 390 שהשלימו ≈ £872
במצב טוב יותר: מבין 390 שהשלימו, 260 בתעסוקה יציבה לאחר 6 חודשים = 66.7%
לעומת 41% בקבוצת השוואה תואמת (ראו counterfactual-analysis)
בקריאה של דיווחיות אוכלוסייה, התוכנית נראית כושלת — שיעור האבטלה בעיר עלה בתקופתה. בקריאה של דיווחיות הביצועים של RBA, התוכנית מצליחה: היא עמדה ביעד ההיקף, שמרה על איכות יציבה, והפיקה תוצאת תעסוקה גבוהה ב-25.7 נקודות אחוז מקבוצת השוואה תואמת, בעוד שמחוון האוכלוסייה זז מסיבות (סגירת מפעל) שמחוץ לשליטת התוכנית לחלוטין.
הקשר להנדסת תוכנה
RBA ממופה ישירות להבחנה מוכרת מ-SRE: מחווני אוכלוסייה הם כמו מדדי North Star ברמת העסק שאף צוות הנדסה בודד אינו הבעלים שלהם מקצה לקצה (הכנסות החברה, נתח שוק), בעוד שמדדי ביצועים הם כמו ה-SLO של צוות — הדברים שהחלטות התכנון של אותו צוות אכן מזיזות. לוח מחוונים המדווח על שניהם בלי לתייג מה הוא מה מזמין בדיוק את הייחוס השגוי ש-RBA נבנתה למנוע: מהנדס כוננות המואשם במדד שצוות תלות שולט בו. בהזמנה או בבניה של כלי דיווח לחוזי תוצאות, יש לבנות את הטריאדה "כמה / עד כמה היטב / במצב טוב יותר" כשדות מהשורה הראשונה הניתנים לסינון נפרד, ולא כ-KPI מעורב יחיד — זו אותה משמעת כמו הפרדה בין מחוונים מובילים ומאחרים ב-KPI במגזר הציבורי. RBA היא גם ההיגיון של הדיווחיות שמתחת לתשלום לפי תוצאות ואג"ח להשפעה חברתית: חוזה PbR יכול לשלם באופן הוגן רק על מדד הביצועים "במצב טוב יותר", לעולם לא על מחוון האוכלוסייה, אלא אם ההתערבות היא באמת הגורם הדומיננטי בו.
מכשולים נפוצים
- תגמול או ענישה של תוכנית לפי מחוון אוכלוסייה שאינה שולטת בו: זו הטעות היחידה ש-RBA קיימת כדי למנוע; יש תמיד לבדוק אם התוכנית היא תורמת עיקרית או משנית לתוצאת האוכלוסייה לפני שמצמידים לה השלכות.
- דיווח על "כמה" כאילו היה "במצב טוב יותר": ספירות פעילות (לקוחות שטופלו) הן הנתונים הקלים ביותר לאיסוף והפחות אינפורמטיביים; יש לעמוד על כך שהשאלה "האם מישהו במצב טוב יותר" נענית בנתוני תוצאות אמיתיים, רצוי מול תרחיש קונטרפקטואלי (ראו ניתוח קונטרפקטואלי).
- התייחסות למחווני RBA כקבועים לנצח: שיטתו של Friedman איטרטיבית במפורש — מחזור של "נתונים, סיפור, מה עובד, תוכנית פעולה" — ולא תרגיל חד-פעמי של תכנון כרטיס ניקוד.
- היעדר קבוצת השוואה עבור "במצב טוב יותר": שינוי לפני/אחרי בלי תרחיש קונטרפקטואלי מערבב בין אפקט התוכנית למגמה שהאוכלוסייה הייתה מציגה בכל מקרה.
מקורות
- Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities, Trafford Publishing, 2005.
- Clear Impact, "What is Results-Based Accountability?" https://clearimpact.com/results-based-accountability/