第 20 個主題,共 64 個· 社會價值與影響力衡量

成果與產出

產出是一項活動直接的、可計數的產物——它在交付發生的那一刻就存在,無論其產生了什麼效果。成果則是隨之而來的、發生在相關人員、地方或系統身上的變化。"500 人參加了求職工作坊"是一項產出:即便他們當中沒有一個人找到工作,這句話依然為真。"500 人的就業前景得到改善"是一項成果宣告,它需要變化的證據,而不僅僅是出席的證據——這種混淆,幾乎比該領域中任何其他測量錯誤都更容易產出誤導性的撥款報告。

為何重要

英國財政部《洋紅皮書》以及國家彩票社群基金等資助方都要求進行成果報告,正是因為產出是專案預設會報告的內容:它們統計起來成本低廉、總是可以獲得、而且看起來總是正面的。一項產出計數絕不可能因為專案失敗而下降——交付的場次更多,永遠意味著"更多",而成果卻可能揭示出一個專案並不奏效。國家審計署一再批評政府專案將活動水平當作成功的證據來報告;一套只讓產出容易被報告的軟體系統,會預設強化這種做法,因為產出無需後續資料收集,而成果需要。

數學原理

雖然沒有一個固定公式,但有一個可靠的檢驗方法可以對一項指標進行分類:

產出檢驗:它是否在交付時點就可計數,即便接受者未受任何影響,
         該數位依然為真?
成果檢驗:它是否需要前後對比或有無對比才具有意義?

如果一個數位即便在沒有讓任何人受益的情況下也能成立,
它就是一項產出。

這一區分處在更廣泛的邏輯模型鏈條之中,並依賴於變革理論中所定義的成果關聯;將一項成果轉化為貨幣,則使用社會投資回報中的方法。

實例演算

地方政府(就業支援):產出——500 人參加了求職工作坊。成果——在 12 個月後的跟蹤調查中,這 500 人中有 140 人(28%)實現了持續性就業(6 個月以上)。一個特徵相似、但未接觸該專案的對照組,在同一時期的基線就業率為 15%。淨成果提升:28% − 15% = 13 個百分點,因此估計有 500 × 0.13 = 65 人因該專案而多獲得就業,這是可歸因的成果,與 500 這個出席人數或 140 這個原始就業人數都不相同。

慈善機構(識字慈善機構):產出——為 300 名兒童提供了 1,200 場閱讀輔導。成果——在 6 個月內,平均閱讀年齡提升了 8 個月,而預期的 6 個月自然進步基線為 6 個月。淨成果增益:8 − 6 = 每名兒童因該專案而額外獲得的 2 個月閱讀年齡提升,而不是完整的 8 個月這個數位。

與軟體工程的關聯

事件日誌和交易系統幾乎自動地為產出提供儀表化——頁面瀏覽量、會話數、已關閉的工單、已預約的名額——因為這些是系統正常運作過程中自然產生的。而成果需要一種資料模型,能夠在後續某個時間點、針對基線或對照組,捕獲同一個個體的資訊,這必須經過刻意設計:後續跟蹤調查、關聯的行政記錄,或一個對照佇列。一個只支援前者的報告工具,無論資助方要求什麼,都會在不知不覺中將一個組織引向只報告產出的方向。關於成果在問責鏈中的位置,參見邏輯模型;關於將這一區分轉化為單位成本指標,參見單位成果成本;關於指標選擇的更廣泛模式,參見公共部門關鍵績效指標。

常見陷阱

  • 將產出當作成果來報告。 "500 人參加了"暗示了效益,卻未加以證明;應明確將出席標註為一項產出。
  • 沒有基線或對照組。 一個沒有反事實情形的成果數位——參見反事實分析——無法將專案效應與本來就會發生的情況區分開來。
  • 為受資助指標進行最佳化。 當資金與產出量掛鉤時,交付團隊會理性地最大化出席人數、而非持久的改變,這是古德哈特定律(Goodhart's law)的一種失敗模式。
  • 成果洗白。 用聽起來像成果的語言重新包裝一項產出指標("參與成果:500 名出席者"),而其背後沒有任何後續測量支撐。

參考資料