トピック 24 / 64· 社会的価値とインパクト測定

影響評価とプロセス評価

影響評価は、プログラムが意図した成果を引き起こしたかどうかを問う。プロセス評価は、プログラムが実際に設計通りに提供されたかどうか——誰に、どの程度の量で、その途中でどのような障壁や促進要因があったか——を問う。これらは異なる方法を必要とする異なる問いであり、HM TreasuryのMagenta Bookは両方を一緒に委託することを標準的な実務として扱っている。なぜなら、弱いあるいはゼロの影響という結果は、それだけでは解釈できないからである——プログラムの根底にある理論が誤っていたのか、それとも良い理論が単に適切に提供されなかったのかを教えてくれない。

重要な理由

政府の評価は、なぜかを説明するプロセス評価がないまま、プログラムから測定可能な効果がないことを繰り返し発見してきた——これにより委託者は「このアイデアはうまくいかない」(理論の失敗)と「このアイデアは実際には適切に試されなかった」(実装の失敗)を区別できないままになる。2015年にBMJで発表され、Magenta Bookと並んで広く引用されているMedical Research Councilの複雑な介入策のプロセス評価に関する指針は、忠実度、投与量、到達範囲を、プロセス評価が測定しなければならない中核的なものとして形式化した。プロセス評価なしに影響評価を委託することは、本当に健全なプログラム設計を、意図した対象人口の半分にしか、意図した強度の一部でしか提供されなかったという理由で放棄してしまうリスクを伴う——これは、システムを構築する人が防ぐのに適した立場にある誤りである。なぜなら、提供の忠実度はまさに運用データシステムがほぼリアルタイムで捕捉できるものだからである。

計算式

プロセス評価が問うこと:
 - 対象人口に、計画された投与量/強度で提供されたか?
 - 提供はロジックモデル/変化の理論の設計と一致していたか?
 - どのような障壁や促進要因が提供に影響したか?
 手法:事前に指定された閾値に対する忠実度チェック、ケーススタディ、
       インタビュー、行政提供データ。

影響評価が問うこと:
 - 何が変化し、その変化のうちどれだけがプログラムに帰属できるか?
 手法:RCT、DiD、PSM、RDD——反実仮想に対する
       impact-evaluation-methodsを参照。

組み合わせた診断:
 効果なし + 高い忠実度  → 理論の失敗:モデル自体が成果を
                           生み出さなかった
 効果なし + 低い忠実度  → 実装の失敗:モデルが適切に検証
                           されなかった
 効果あり + 高い忠実度  → 自信を持って再現する
 効果あり + 低い忠実度  → さらに調査する:その効果は脆弱で
                           あるいは拠点固有である可能性がある

計算例

地方自治体(子育て支援プログラム):差分の差分を用いた影響評価は、子どもの福祉指標において+2ポイントの変化を発見する——統計的に有意ではない。並行して実施されたプロセス評価は、プログラムが対象とした500世帯のうち210世帯(到達率42%)にしか到達しておらず、そのうち事前に指定された忠実度閾値(セッションの75%以上の出席)を満たしたのはわずか95世帯——当初計画された到達範囲の19%——であることを発見する。結論:この弱い影響の結果は、プログラムモデルがうまく機能しないというエビデンスではなく、実装の失敗と整合的である。適切な対応は、58%の脱落を引き起こした紹介経路を修正することであり、プログラム設計を放棄することではない。

慈善団体(デジタルリテラシープログラム):影響評価は強い効果(デジタル自信スコアで+18ポイント)を発見し、並行して実施されたプロセス評価は、12のすべての提供拠点で計画されたカリキュラムへの92%の忠実度を確認する。組み合わせると、資金提供者は自信を持ってプログラムを拡大できる。なぜなら、その効果が一つの異常に優れた拠点の産物ではなく、一貫して成り立つことが示されているからである。

ソフトウェア開発との関連

プロセス評価のデータは、まさに提供システムが捕捉するのに適したものである——計画に対する出席、セッションの投与量、紹介あるいは登録の各段階での脱落は、エンジニアがすでに製品機能のために構築しているのと同じ漏斗分析であり、それが社会プログラムの提供パイプラインに適用されるだけである。助成金終了時の評価を待つのではなく、忠実度と到達範囲の指標をほぼリアルタイムでプログラムマネージャーにフィードすることで、壊れた紹介経路を、資金提供期間が終わってから発見するのではなく、プログラムの途中で修正できるようになる。プロセス評価がペアになる因果デザインについては影響評価手法を、プロセス評価が忠実度をチェックする対象の設計については変化の理論とロジックモデルを、約束された成果までの提供を追跡することについては便益実現を参照。

落とし穴

  • 影響評価だけを委託すること。 ゼロあるいは弱い結果は、理論の失敗か実装の失敗かとして解釈できなくなる——これはまさに、次に何をすべきかを決めるために重要な区別である。
  • プロセス評価を軽い付加要素として扱うこと。 それは、影響デザインと同じ厳密さと事前に指定された忠実度基準を必要とする。さもなければ、結果が出たときに単なる逸話に崩れてしまう。
  • 「予定通り予算内で」と「設計通りに提供された」を混同すること。 プロセス評価はモデルへの忠実度——投与量、対象グループ、内容——をチェックするのであり、プロジェクト管理のRAGステータスをチェックするのではない。
  • 忠実度の閾値を事前登録しないこと。 何が「十分な投与量」としてカウントされるかを事後的に決めることは、期待外れの影響の結果についてのいかなる説明も、後付けの言い訳のように見せてしまう。

出典