トピック 8 / 64· 公共価値の基礎
反実仮想分析
反実仮想とは、介入策がなかった場合に何が起きていたかについての推定である。反実仮想なしには、あるプログラムが開始された後に観察された変化を、とにかく起きていたであろう変化と区別することはできない——反実仮想がなければ、前後の数字がどれほど説得力があるように見えても、効果の証拠にはならない。HM TreasuryのMagenta Bookは、信頼できる反実仮想を構築することを、影響評価における中心的な方法論的課題として扱っており、他のいかなる単一の設計選択よりも重要視している。
重要な理由
「プログラム導入後の1年間で犯罪が15%減少した」は、それなしで犯罪がどうなっていたかを知らない限り、プログラムが効果を上げた証拠にはならない——無関係な経済的・人口動態的な傾向によって、犯罪はとにかく20%減少していたかもしれず、その場合、生の数字が改善しているにもかかわらず、プログラムは反実仮想と比べて実際には事態を悪化させたことになる。これは、公共セクターおよび社会セクターにおける影響力の主張の中で最も一般的な分析上の誤りである——前後比較を因果関係の証拠と取り違えることである。Magenta Bookは、影響評価が反実仮想的な問い——「この介入策はどのような違いをもたらしたか?」——に答えるために存在すること、そしてそれに答えるには、起きなかった世界を単に記述するだけでなく推定することが必要であることを明確に述べている。
異なる方法は、異なる信頼度で反実仮想を構築し、政府の評価指針はそれに応じてそれらを順位づけている。個人や地域が介入策を受けるか受けないかに無作為に割り当てられる無作為化比較試験(RCT)は、最も強力な反実仮想を生み出す。なぜなら、無作為化によって、処置群と対照群は平均して介入策を受けたかどうかという点でしか異ならないことが保証されるからである。Cabinet OfficeとWhat Works Networkは、Behavioural Insights Teamによる2012年の「Test, Learn, Adapt」報告書以来、英国の公共政策全体でRCTを推進してきた。それはまさに、より弱い設計が交絡に対して脆弱であるからである——観察された差異は、プログラムの効果ではなく、誰が参加を選んだかを反映しているかもしれない。無作為化が非現実的あるいは非倫理的である場合(法定の権利があるプログラムや、人口全体を対象とした政策変更の場合によくある)、Magenta Bookは、弱いがそれでも有用な代替手段の明確な階層を定めている——マッチングされた比較群、差分の差分デザイン、受給資格の閾値周辺での回帰不連続、そして最後の手段としての単純な前後比較である。これは、プログラムの効果と同時期に変化した他のあらゆる要因の効果を混同しがちな、最も弱いエビデンスの形として明確に位置づけられている。
計算式
すべての方法に適用される反実仮想の枠組み:
推定された影響 = 成果(介入策あり) − 成果(反実仮想:介入策なし)
以下ではない:
推定された影響 ≠ 成果(後) − 成果(前) [時間と処置を混同している]
政府評価における最も一般的な準実験デザインの一つである差分の差分は、比較群自体の前後変化を差し引くことで処置効果を分離する:
DiD推定値 = [成果(処置あり、後) − 成果(処置あり、前)]
− [成果(比較、後) − 成果(比較、前)]
これにより、両群に共通するあらゆるトレンド(例えば全員に影響する全国的な経済変動)が取り除かれ、介入策に帰属できる差分の変化だけが残る。
計算例
雇用プログラム、前後比較(弱いデザイン):ある就労支援制度が、参加者の雇用率が1年間で40%から55%に上昇したと報告する——「プログラムによって+15ポイント」という素朴な結論である。
同じプログラム、差分の差分(より強いデザイン):同じ地域労働市場から抽出された類似の非参加者からなるマッチング比較群は、同じ1年間で雇用率が38%から47%に上昇したことを示している(全国的な経済回復が進行中だった)。
処置群の変化: 55% − 40% = +15ポイント
比較群の変化: 47% − 38% = +9ポイント
DiD推定値(真のプログラム効果) = 15 − 9 = +6ポイント
正直に帰属できる効果は15ではなく6ポイントである——見かけ上の前後改善の半分以上は、比較群を押し上げたのと同じ経済回復によって、プログラムにかかわらずとにかく起きていたであろう。
回帰不連続、受給資格の閾値:ある助成制度は従業員50人未満の企業にのみ利用可能である。閾値のすぐ下(45〜49人、対象)と、すぐ上(50〜54人、対象外)の企業の成果を比較することは、信頼できる反実仮想を提供する。なぜなら、恣意的な行政上の締め切り線のどちら側にいる企業も、それ以外の点では類似しているからである——閾値が、根底にある企業の特性ではなく、資格を決定している。閾値でのみ観察される、二つのグループ間の平均£2,000の成果の差は、すべての対象企業と非対象企業の単純な比較(両者は規模で体系的に異なる)よりも、はるかに高い信頼度で助成金に帰属できる。
ソフトウェア開発との関連
反実仮想的な思考は、政府および社会セクターのソフトウェア向けに、影響追跡システムや評価パイプラインがどのように設計されるべきかを形づくるべきである。
- 比較群の捕捉を、プログラムが既に実施されて前後データしか存在しない状態になってから後付けするのではなく、最初からシステムに組み込むこと——資格はあるが登録していない人々や、マッチングされた非参加者コホートを記録すること。
- 無作為化が実行可能な場合(段階的な展開、一部のユーザーに他のユーザーより先に有効化されるデジタルサービス)、無作為な割り当てをクエリ可能なフィールドとして保持するようシステムを計装すること——割り当ての順序が記録されなければ、段階的な展開はその評価価値を偶発的に破壊してしまう。
- これは影響評価手法の基礎となる方法であり、影響評価とプロセス評価との違いでもある——後者は、効果を引き起こしたかどうかではなく、プログラムが意図した通りに提供されたかどうかを問う。
- 追加性と死荷重と置き換えと帰属は、根本的にはどちらも反実仮想的な問いである——死荷重は「この特定の成果は介入策なしでどうだったか」という問いを、完全な評価設計のレベルではなく調整のレベルで適用したものである。
落とし穴
- 前後比較を因果関係の証拠として扱うこと。 これは公共・社会セクターの影響報告における最も一般的で最も重大な誤りである。前後の変化は、プログラムの効果と同期間に変化した他のあらゆる要因を混同する。
- 処置群と体系的に異なる比較群を使うこと。 マッチングされた比較群は、関連する特性において本当に類似していなければならない(Magenta Bookにおける反実仮想分析の方法論階層を参照)。プログラム参加者(自ら選んで参加し、しばしばより意欲的である)を非参加者(そうしなかった人々)と比較することは、選択バイアスがプログラム効果を装うリスクを伴う。
- 提供設計の不備によって無作為化の機会を破壊すること。 段階的あるいは無作為化された展開は、割り当てが本当に無作為であり記録されている場合にのみその評価価値を保持する——地元の管理者に誰を先にするか選ばせることは、その目的を損なう。
- 弱いデザインから過大な精度を主張すること。 前後推定値は、測定された効果量としてではなく、示唆的なものとして提示されるべきである。Magenta Bookのエビデンス階層が存在するのは、主張の強さがそれを生み出した設計の強さと一致するようにするためである。
出典
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
- Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
- What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
- Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).