トピック 23 / 64· 社会的価値とインパクト測定
影響評価手法
影響評価手法は、政策やプログラムが実際に何を引き起こしたかを、とにかく起きていたであろうことと区別して推定するために使われる統計的・実験的デザインである——無作為化比較試験(RCT)、差分の差分、傾向スコアマッチング、回帰不連続デザインは、英国の公共政策で最も一般的に使われる四つである。これらが存在するのは、ほとんどの政府の介入策が実験室で検証できないからである——どの患者が薬を受け取るかを無作為化できるようには、どの町が新しいバス路線を受け取るかを無作為化できない。そこでこれらの手法は、無作為な割り当てを常に必要とすることなく同じ因果ロジックを借用する。
重要な理由
HM TreasuryのMagenta Book付属書A(準実験手法について)は、これらのデザインの選択に関する英国政府の標準的な指針であり、Education Endowment FoundationやWhat Works Centre for Local Economic Growthのような機関は、無作為化が実行可能で倫理的な場合はRCTを、そうでない場合は準実験デザインを、というエビデンス階層を制度化している。方法の選択は技術的な後付けではない——それは、ある評価が「プログラムはこれを引き起こしたか?」に答えられるのか、それとも「これはプログラムが始まった後に起きたのか?」にしか答えられないのかを決定する。これは、実践者に評価が委託される前にこの問いを立てさせるために反実仮想分析が存在するのと同じ問いである。
計算式
RCT:
影響 = 平均(成果 | 処置群) − 平均(成果 | 対照群)
(処置への割り当てが無作為であるために有効)
差分の差分(DiD):
影響 = [成果_後(処置) − 成果_前(処置)]
− [成果_後(対照) − 成果_前(対照)]
(「平行トレンド」の前提を必要とする:介入策がなければ処置群と
対照群は共に動いていたであろう)
傾向スコアマッチング(PSM):
1. すべての単位についてP(処置=1|共変量X)を推定する →
傾向スコア
2. 処置された単位を類似の傾向スコアを持つ未処置の単位と
マッチングする
3. 影響 = 平均(成果|処置) − 平均(成果|マッチングされた対照)
回帰不連続デザイン(RDD):
影響 = 受給資格の閾値で観察される成果のジャンプ、閾値の
すぐ上と下の単位を比較する
計算例
地方自治体(問題を抱えた家族のためのプログラムに対する差分の差分):成果は就学状況である。処置群の地域は、プログラム期間中に出席率が84%から89%に上昇する(+5ポイント)。比較可能だが未処置の地域は、同期間に85%から87%に上昇する(+2ポイント)。DiD推定される影響:5−2=+3ポイントがプログラムに帰属する。処置群地域の2,000人の生徒コホートに適用すると、これはおよそ60人の追加的な生徒(3%×2,000)がより高い出席カテゴリーに達したことと整合的である——この外挿は、正確な人数としてではなく、平行トレンドという但し書きとともに報告されるべきである。
慈善団体(就労可能性慈善団体に対する傾向スコアマッチング):300人のプログラム参加者が、年齢、過去の雇用歴、資格レベルから構築された傾向スコアを用いて、より大きな行政データセットからの300人の個人とマッチングされる。12か月時点の雇用率:マッチングされた処置群46%、マッチングされた比較群33%。PSM推定される影響:46%−33%=+13ポイントがプログラムに帰属する。ただし、参加と成果の両方を駆動する未観察の交絡因子(例えば意欲)がないことを条件とする。
ソフトウェア開発との関連
これらのデザインのいずれが後で実行可能かは、初期に行われるデータエンジニアリングの決定に大きく依存する。RDDは正確に記録された実行変数と本当にクリーンな受給資格の締め切り線を必要とする。DiDは、処置群と比較群の両方について時系列で比較可能なパネルデータを必要とし、これはシステムと年をまたいだ一貫した結合を意味する。PSMは、処置前に捕捉された豊富な基準共変量データを必要とし、後から再構築するものではない。最初から変化の理論とロジックモデルとともに設計されたデータモデル——基準共変量、日付、比較群対象記録を捕捉する——は、後で高価な事後的な奔走ではなく、厳密な影響評価を可能にするものである。これらの手法だけでは答えられない補完的な問いについては影響評価とプロセス評価を参照。
落とし穴
- 実行不可能あるいは非倫理的な場合にRCTを強行すること、あるいは逆に、政策の締め切り、段階的な展開のような、準実験デザインの本当の機会があったにもかかわらず、それを一度も検討しないこと。
- DiDにおける平行トレンドの前提を無視すること。 介入策の前から既に比較地域が処置地域から乖離していた場合、二点比較は汚染されている。前後だけでなく、前トレンドを確認すること。
- PSMで観察された共変量にのみマッチングすること。 参加者の意欲のような未観察の選択は、観察された共変量がよく均衡していても、推定値を偏らせることがある。
- RDDにおける実行変数の操作。 人々が自分のスコアを受給資格閾値のすぐ内側に収まるよう影響を与えられる場合、その不連続はもはや因果効果を分離していない。
出典
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/