第 8 個主題,共 64 個· 公共價值基礎

反事實分析

反事實情形,是對若無該項介入本會發生的情況所做的估計。沒有反事實情形,就無法將專案啟動後觀察到的變化與本來就會發生的變化區分開來——沒有反事實,就沒有效果的證據,無論前後對比的數位看起來多麼令人信服。英國財政部《洋紅皮書》將建置可信的反事實情形視為影響力評估的核心方法論任務,其重要性超過任何其他單一的設計選擇。

為何重要

"引入該專案後一年內犯罪率下降了 15%",除非你知道若無該專案犯罪率本會如何變化,否則這並不能作為該專案奏效的證據——犯罪率也可能因為無關的經濟或人口趨勢而本來就會下降 20%,這意味著相對於反事實情形而言,該專案實際上使情況變得更糟,儘管原始數位有所改善。這是公共部門和社會部門影響力宣告中最常見的分析錯誤:把前後對比誤當作因果關係的證據。《洋紅皮書》明確指出,影響力評估存在的目的正是回答一個反事實問題——"這項介入究竟帶來了什麼差異?"——而回答這個問題需要估計、而不僅僅是描述那個沒有發生的世界。

不同方法建置反事實情形的置信程度各不相同,政府評估指南也據此對它們進行排序。隨機對照試驗(RCT)——將個人或地區隨機分配為接受或不接受某項介入——能產出最有力的反事實情形,因為隨機化確保處理組與對照組平均而言僅在是否接受介入這一點上存在差異。自 2012 年行為洞察團隊(Behavioural Insights Team)釋出《測試、學習、適應》("Test, Learn, Adapt")報告以來,內閣辦公室和"什麼有效"網路(What Works Network)一直在英國公共政策各領域推廣 RCT,正是因為較弱的設計容易受到混雜因素的影響——觀察到的差異可能反映的是誰選擇了參與,而不是該專案的效果。當隨機化不切實際或不符合倫理時(對於具有法定權利的專案、或涉及全體人群的政策變化,這種情況經常出現),《洋紅皮書》列出了一個明確的、由弱到強的替代方案層級:匹配對照組、雙重差分法設計、圍繞資格門檻的斷點回歸,以及作為最後手段的簡單前後對比——後者被明確標註為最弱的證據形式,容易將該專案的效果與同期發生的其他一切變化相混淆。

數學原理

適用於所有方法的反事實框架:

估計的影響 = 結果(有該介入) − 結果(反事實:無該介入)

而不是:
估計的影響 ≠ 結果(之後) − 結果(之前)   【將時間與處理效應相混淆】

雙重差分法(difference-in-differences)是政府評估中最常見的準實驗設計之一,它透過減去對照組自身的前後變化來分離出處理效應:

雙重差分估計值 = [結果(處理組,之後) − 結果(處理組,之前)]
              − [結果(對照組,之後) − 結果(對照組,之前)]

這樣可以剔除兩組共有的任何趨勢(例如影響所有人的全國性經濟變化),只留下可歸因於該項介入的差異性變化。

實例演算

就業專案,前後對比(較弱的設計):某就業支援計劃報告稱,參與者的就業率在一年內從 40% 上升到 55%——一個樸素的結論會認為"該專案帶來了 +15 個百分點"。

同一專案,雙重差分法(更強的設計):從同一當地勞動力市場中抽取的相似非參與者匹配對照組顯示,同一年內就業率從 38% 上升到 47%(當時正處於一輪全國性經濟復甦)。

處理組變化:      55% − 40% = +15 個百分點
對照組變化:      47% − 38% = +9 個百分點

雙重差分估計值(該專案的真實效果) = 15 − 9 = +6 個百分點

如實可歸因的效果是 6 個百分點,而不是 15 個百分點——表面上前後對比改善幅度的一半以上,實際上無論有無該專案本來就會發生,是由同樣帶動了對照組的經濟復甦所驅動的。

斷點回歸,資格門檻:某項撥款計劃僅面向員工人數少於 50 人的企業開放。將剛好低於門檻(45–49 人,符合資格)的企業與剛好高於門檻(50–54 人,不符合資格)的企業的結果進行比較,能提供一個可信的反事實情形,因為處於任意行政切分點兩側的企業在其他方面本質上是相似的——決定資格的是門檻本身,而不是任何潛在的企業特徵。僅在該門檻處觀察到的兩組之間平均 2,000 英鎊的結果差異,其可歸因於該項撥款的置信度,要遠高於簡單地將所有符合資格企業與所有不符合資格企業(兩者在規模上系統性存在差異)進行比較。

與軟體工程的關聯

反事實思維應當塑造政府與社會部門軟體中影響力跟蹤系統和評估流水線的設計方式:

  • 從一開始就在系統中建置對照組捕獲機制——記錄誰符合資格但未報名、或建立一個匹配的非參與者佇列——而不是在專案已經運作、只存在前後資料之後再事後補建。
  • 在隨機化可行的地方(分階段推廣、為部分使用者先行啟用的數位服務),應對系統進行儀表化,將隨機分配結果儲存為可查詢欄位;如果沒有記錄分配順序,分階段推廣會無意中摧毀其自身的評估價值。
  • 這是影響力評估方法背後的基礎方法,也是它與影響力評估與過程評估的區別所在——後者追問的是一個專案是否按預期交付,而不是它是否產生了某種效果。
  • 增益性與無謂損失以及置換與歸因從根本上說都是反事實問題——無謂損失就是"若無該項介入,這一特定結果本會是什麼",只是應用在調整層面,而非完整的評估設計層面。

常見陷阱

  • 將前後對比當作因果關係的證據。 這是公共部門和社會部門影響力報告中最常見、後果也最嚴重的錯誤;前後變化會把該專案的效果與同期發生的其他一切變化混為一談。
  • 使用與處理組存在系統性差異的對照組。 匹配對照組必須在相關特徵上真正相似(參見《洋紅皮書》中反事實分析方法層級);將專案參與者(他們選擇了參與,往往動機更強)與非參與者(他們沒有參與)相比較,有將選擇偏差偽裝成專案效應的風險。
  • 因交付設計不當而破壞隨機化機會。 只有在分配真正隨機且被記錄下來的情況下,分階段或隨機化推廣才能保留其評估價值——讓當地管理者自行選擇誰先上線,就違背了這一目的。
  • 對薄弱設計的結果過度聲稱精確度。 前後對比估計值應作為指示性資料呈現,而不是作為已測量的效應量;《洋紅皮書》的證據層級之所以存在,正是為了讓宣告的強度與產生該宣告的設計強度相匹配。

參考資料

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).