第 24 個主題,共 64 個· 社會價值與影響力衡量

影響力評估與過程評估

影響力評估追問的是:一個專案是否造成了其預期的成果。過程評估追問的是:這個專案是否真的按設計交付了——交付給了誰、以什麼劑量交付、過程中遇到了哪些障礙或助力因素。這是兩個需要不同方法的不同問題,英國財政部《洋紅皮書》將同時委託這兩種評估視為標準做法,因為一個微弱或零效應的影響力結果本身是無法解讀的:它無法告訴你,究竟是專案背後的理論錯了,還是一個好的理論根本沒有被真正妥善地交付過。

為何重要

政府評估一再發現某個專案沒有可測量的效果,卻沒有過程評估來解釋為什麼——這使委託方無法區分"這個想法行不通"(理論失敗)與"這個想法從未被真正妥善嘗試過"(實施失敗)。醫學研究理事會(Medical Research Council)關於複雜介入措施過程評估的指南,2015 年發表於《英國醫學雜誌》(BMJ),與《洋紅皮書》一同被廣泛引用,將保真度、劑量和觸達範圍正式確立為過程評估必須測量的核心內容。只委託影響力評估而不委託過程評估,有可能導致一個真正合理的專案設計被放棄,僅僅因為它實際只交付給了預期人群的一半、強度也只有預期的一小部分——這正是一位系統建置者能夠很好地預防的錯誤,因為交付保真度恰恰是營運資料系統能夠近乎實時捕獲的內容。

數學原理

過程評估追問:
 - 是否按計劃的劑量/強度交付給了目標人群?
 - 交付是否與邏輯模型/變革理論的設計相符?
 - 哪些障礙或助力因素影響了交付?
 方法:對照預先設定閾值的保真度核查、案例研究、訪談、
       行政交付資料。

影響力評估追問:
 - 發生了什麼變化,其中多少變化可歸因於該專案?
 方法:RCT、DiD、PSM、RDD——參見 impact-evaluation-methods——
       與一個反事實情形相比較。

綜合診斷:
 無效應 + 高保真度  → 理論失敗:該模型本身未能產生該成果
 無效應 + 低保真度  → 實施失敗:該模型從未被真正妥善檢驗過
 發現效應 + 高保真度 → 可有信心地進行復制推廣
 發現效應 + 低保真度 → 需進一步調查:該效應可能不穩固或
                       具有場地特異性

實例演算

地方政府(育兒專案):一項使用雙重差分法的影響力評估發現,兒童福祉衡量指標變化了 +2 個百分點——不具統計顯著性。與其同時開展的過程評估發現,該專案僅觸達了目標 500 個家庭中的 210 個(觸達率 42%),而在這些家庭中,只有 95 個達到了預先設定的 75% 以上課程出勤率保真度閾值——僅為原計劃觸達人群的 19%。結論:這一微弱的影響力結果與實施失敗一致,而不是該專案模式不起作用的證據;恰當的應對措施是修復導致 58% 流失率的轉介路徑,而不是放棄該專案設計。

慈善機構(數位素養專案):一項影響力評估發現了顯著效應(數位信心分數 +18 個百分點),與之同步開展的過程評估確認,在全部 12 個交付場地中,對預定課程的保真度達到 92%。綜合來看,資助方可以有信心地擴大該專案規模,因為該效應被證明是持續穩定的,而不是某一個異常出色場地的產物。

與軟體工程的關聯

過程評估資料正是交付系統能夠很好地捕獲的內容:按計劃的出勤情況、課程劑量,以及轉介或報名漏斗每一階段的流失情況——這與工程師已經為產品功能建置的漏斗分析完全相同,只是應用在了一個社會專案的交付流水線上。將保真度和觸達範圍指標近乎實時地反饋給專案經理,而不是等待撥款期末的評估,能讓一條出問題的轉介路徑在專案進行中就得到修復,而不是要等到資助週期結束後才被發現。關於過程評估所配合的因果設計,參見影響力評估方法;關於過程評估據以檢驗保真度的設計,參見變革理論和邏輯模型;關於跟蹤交付直至承諾成果的實現,參見效益實現。

常見陷阱

  • 只委託影響力評估。 一個零效應或微弱的結果將無法被解讀為理論失敗還是實施失敗,而這恰恰是決定下一步該怎麼做時至關重要的區分。
  • 將過程評估當作一個軟性的附加項。 它需要與影響力設計同樣的嚴謹度和預先設定的保真度標準,否則一旦結果出爐,它就會淪為軼事。
  • 將"按時、按預算"與"按設計交付"相混淆。 過程評估檢驗的是對模型的保真度——劑量、目標群體、內容——而不是專案管理的紅綠燈狀態。
  • 未預先登記保真度閾值。 事後才決定什麼算"足夠的劑量",會使任何對令人失望的影響力結果的解釋,看起來像是事後找藉口。

參考資料