第 20 個主題,共 64 個· 社會價值與影響量度
成果與產出
產出(output)係一項活動直接、可點算嘅產物——一旦服務提供就存在,無論有乜效果。成果(outcome)係隨後對相關人士、地方或者系統帶來嘅改變。「500 人出席求職工作坊」係產出:就算冇一個人搵到工作,呢句嘢都係真嘅。「500 人嘅就業前景有所改善」就係成果聲稱,需要有改變嘅證據,而唔只係出席嘅證據——呢種混淆,製造出嘅誤導性資助報告,比業界任何其他量度錯誤都多。
點解重要
HM Treasury 嘅 Magenta Book 同 National Lottery Community Fund 等資助機構,都特別要求匯報成果,因為產出係計劃預設會匯報嘅東西:點算成本低、隨時有、而且永遠睇落正面。產出數字根本唔會因為計劃失敗而下降——多開幾節永遠係「更多」,而成果卻可以揭示計劃有冇用。National Audit Office 屢次批評政府計劃將活動水平當成成功證據匯報;一個只令產出易於匯報嘅軟件系統,預設就會強化呢種做法,因為產出毋須跟進數據收集,而成果則需要。
數學原理
冇公式,但有一個可靠嘅測試嚟分類指標:
Output test: is it countable at the point of delivery, true even if the recipient is unaffected?
Outcome test: does it require a before/after or with/without comparison to be meaningful?
If a number can be true with zero benefit to anyone, it is an output.
呢個測試位於更廣闊嘅邏輯模型鏈條之內,並依賴變革理論所界定嘅成果連結;將成果轉化為金錢,則使用社會投資回報中嘅方法。
實例演算
地方政府(就業支援):產出——500 人出席求職工作坊。成果——12 個月跟進時,呢 500 人之中有 140 人(28%)持續就業(6 個月或以上)。一個特徵相似、但冇機會參加計劃嘅對照組,同期基線就業率為 15%。淨成果提升:28% − 15% = 13 個百分點,所以估計有 500 × 0.13 = 65 個額外人士就業,而佢哋本來唔會就業——呢個係可歸因嘅成果,有別於 500 人出席數字,亦有別於 140 人嘅原始就業數字。
慈善機構(識字慈善機構):產出——為 300 名兒童提供 1,200 節閱讀課。成果——6 個月期間內,平均閱讀年齡進步 8 個月,而預期 6 個月自然進展基線為 6 個月。淨成果收益:8 − 6 = 每名兒童額外進步 2 個月閱讀年齡,歸因於計劃,而唔係全部 8 個月。
與軟件工程嘅關係
事件日誌同交易系統差不多自動為產出埋點——頁面瀏覽、環節、已結案嘅工單、已預約嘅約會——因為佢哋係系統履行職能時自然產生嘅。成果則需要一個數據模型,可以喺較後時間點,對照基線或者比較組,捕捉同一個體,呢點必須刻意設計:跟進問卷、連結嘅行政記錄,或者對照群組。一個只支援前者嘅匯報工具,無論資助者要求啲乜,都會悄悄咁將機構引向純產出匯報。成果喺問責鏈條中嘅位置,請見邏輯模型;將呢個區分轉化為單位成本指標,請見每項成果成本;指標選擇嘅更廣泛模式,請見公營界別 KPI。
常見陷阱
- 將產出當成成果匯報。 「500 人出席」暗示有效益,卻冇證明;應該明確標示出席係產出。
- 冇基線或者對照組。 冇反事實嘅成果數字——見反事實分析——無法分辨計劃效果同本來都會發生嘅事。
- 為咗受資助嘅指標而優化。 當資助同產出數量掛鈎,交付團隊會理性咁將出席人數最大化,而唔係追求持久嘅改變,呢個係古德哈特定律(Goodhart's law)嘅失效模式。
- 成果粉飾。 將產出指標改用聽落似成果嘅字眼(「參與成果:500 名出席者」),背後卻冇任何跟進量度。
資料來源
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, outcomes reporting guidance. https://www.tnlcommunityfund.org.uk/
- National Audit Office, value-for-money report methodology. https://www.nao.org.uk/