第 23 個主題,共 64 個· 社會價值與影響力衡量
影響力評估方法
影響力評估方法,是用於估計一項政策或專案究竟造成了什麼效果——區別於本來就會發生什麼——的統計和實驗設計:隨機對照試驗(RCT)、雙重差分法、傾向得分匹配和斷點回歸設計,是英國公共政策中最常用的四種方法。它們之所以存在,是因為大多數政府幹預措施無法在實驗室中進行測試:你無法像隨機分配哪位病患接受某種藥物那樣,隨機分配哪個城鎮獲得一條新公交線路,因此這些方法在借用相同因果邏輯的同時,並不總是要求隨機分配。
為何重要
英國財政部《洋紅皮書》附錄 A 關於準實驗方法的部分,是英國政府在這些設計之間做出選擇的權威指南,而教育捐贈基金會(Education Endowment Foundation)和地方經濟增長"什麼有效"中心(What Works Centre for Local Economic Growth)等機構則圍繞它們將一套證據層級制度化——在隨機化可行且符合倫理的地方使用 RCT,在不可行的地方使用準實驗設計。方法的選擇不是一個技術性的事後考量:它決定了一項評估能否回答"這個專案造成了這個結果嗎?",還是隻能回答"這件事是在專案啟動之後發生的嗎?"——而這正是反事實分析旨在迫使從業者在委託任何評估之前就要問的同一個問題。
數學原理
RCT:
影響 = 均值(結果 | 處理組) − 均值(結果 | 對照組)
(之所以成立,是因為分配到處理組是隨機的)
雙重差分法(DiD):
影響 = [結果_之後(處理組) − 結果_之前(處理組)]
− [結果_之後(對照組) − 結果_之前(對照組)]
(需要"平行趨勢"假設:若無該項介入,處理組與對照組
本會同步變化)
傾向得分匹配(PSM):
1. 為每個單元估計 P(處理 = 1 | 協變數 X) → 傾向得分
2. 將處理組單元與傾向得分相近的未處理單元進行匹配
3. 影響 = 均值(結果 | 處理組) − 均值(結果 | 匹配對照組)
斷點回歸設計(RDD):
影響 = 在資格門檻處觀察到的結果跳躍,
比較剛好高於與剛好低於切分點的兩組單元
實例演算
地方政府(針對問題家庭專案的雙重差分法):結果指標為學校出勤率。在專案實施期間,受處理地區的出勤率從 84% 升至 89%(+5 個百分點);一個可比但未受處理的地區在同一時期從 85% 升至 87%(+2 個百分點)。雙重差分法估計的影響:5 − 2 = 可歸因於該專案的 +3 個百分點。應用於受處理地區 2,000 名學生的佇列,這大致相當於約 60 名(3% × 2,000)額外學生達到更高的出勤類別,這一外推結果應連同其平行趨勢前提一併報告,而不是作為一個精確的人頭數位。
慈善機構(針對一家就業能力慈善機構的傾向得分匹配):300 名專案參與者,與來自一個更大行政資料集、基於年齡、既往就業史和資歷水平建置傾向得分而匹配出的 300 名個體進行匹配。十二個月就業率:匹配後的處理組 46%,匹配後的對照組 33%。PSM 估計的影響:46% − 33% = 可歸因於該專案的 +13 個百分點,前提是沒有未被觀測到的混雜因素(例如動機)同時驅動參與和結果。
與軟體工程的關聯
這些設計中任何一種日後是否可行,很大程度上取決於早期做出的資料工程決策。RDD 需要一個被準確記錄的連續變數,以及一個真正乾淨的資格切分點;DiD 需要處理地區和對照地區在時間上具備可比的面板資料,這意味著跨系統、跨年度的一致關聯;PSM 需要在處理之前捕獲的豐富基線協變數資料,而不是事後重建。從一開始就與變革理論和邏輯模型一同設計的資料模型——捕獲基線協變數、日期以及符合對照組資格的記錄——正是使日後嚴謹的影響力評估成為可能、而不是一場昂貴的事後補救行動的關鍵所在。關於這些方法本身無法單獨回答的互補問題,參見影響力評估與過程評估。
常見陷阱
- 在不可行或不符合倫理的情況下強行使用 RCT,或反過來,在存在真實機會(一個政策切分點、一次分階段推廣)卻未加利用的情況下,從未考慮過準實驗設計。
- 忽視 DiD 中的平行趨勢假設。 如果對照地區在介入之前就已經在與處理地區分道揚鑣,那麼這種兩點比較就被汙染了;應檢驗介入前的趨勢,而不僅僅是前後對比。
- PSM 中只按已觀測協變數進行匹配。 即便已觀測協變數高度平衡,未被觀測到的選擇因素(例如參與者的動機)仍可能使估計值產生偏差。
- RDD 中的連續變數操縱。 如果人們能夠影響自己的得分、使其剛好落在資格門檻之內,那麼該斷點就不再能分離出一個因果效應。
參考資料
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/