トピック 20 / 64· 社会的価値とインパクト測定

成果とアウトプット

アウトプットは活動の直接的で数えられる成果物である——それがどのような効果を持つかにかかわらず、提供された瞬間に存在する。成果は、関係する人々、場所、あるいはシステムにとって、その後に続く変化である。「500人が求職ワークショップに参加した」はアウトプットである——たとえそのうち誰も仕事を見つけなくても、それは真実である。「500人の雇用見通しが改善した」は成果の主張であり、単なる参加のエビデンスではなく、変化のエビデンスを必要とする——この混同は、このセクターにおける他のほぼいかなる測定上の誤りよりも、誤解を招く助成金報告を生み出している。

重要な理由

HM TreasuryのMagenta Bookと、National Lottery Community Fundのような資金提供者の両方が、まさにアウトプットがプログラムがデフォルトで報告するものであるという理由で、成果の報告を特に要求している——アウトプットは数えるのが安く、常に入手可能であり、常にポジティブに見える。アウトプットの数は、プログラムが失敗した結果として文字通り下がることは決してない——より多くのセッションを実施することは常に「より多い」ことを意味するが、成果はプログラムが機能していないことを明らかにしうる。National Audit Officeは、政府のプログラムが活動水準を成功のエビデンスであるかのように報告していることを繰り返し批判してきた。アウトプットだけを報告しやすくするソフトウェアシステムは、デフォルトでこれを強化する。なぜなら、アウトプットは追跡データの収集を必要とせず、成果はそれを必要とするからである。

計算式

公式はないが、指標を分類するための信頼できるテストがある。

アウトプットテスト:提供時点で数えられるか、受益者が影響を
                    受けなくても真であるか?
成果テスト:意味を持つために前後あるいは有無の比較を必要とするか?

もしある数字が、誰にとってもゼロの便益で真になりうるなら、
それはアウトプットである。

これは、より広いロジックモデルの連鎖の中に位置づけられ、変化の理論で定義された成果の連結に依存する。成果を金銭に変換するには、社会的投資収益率の方法を使う。

計算例

地方自治体(就労支援):アウトプット——500人が求職ワークショップに参加した。成果——12か月の追跡調査で、その500人のうち140人(28%)が持続的な雇用(6か月以上)にある。類似の特性を持つがプログラムへのアクセスがない比較群は、同期間で15%の基準雇用率を持つ。純成果の増加:28%−15%=13ポイント、したがって推定500×0.13=65人の追加的な就業者がいる——これは、参加者数500やそのままの就業者数140とは異なる、帰属できる成果である。

慈善団体(識字力慈善団体):アウトプット——300人の子どもに1,200回の読書セッションを実施。成果——期待される6か月の自然な進歩を基準として6か月として、平均読書年齢が6か月間で8か月改善。純成果の増加:8−6=2か月分の追加的な読書年齢の改善が、子ども一人あたりプログラムに帰属できる——8か月全体ではない。

ソフトウェア開発との関連

イベントログや取引システムは、ほぼ自動的にアウトプットを計装する——ページビュー、セッション、クローズしたチケット、予約した面談などは、システムがその仕事をすることによって生成されるからである。成果には、後の時点で同じ個人を、基準あるいは比較群に対して捕捉するデータモデルが必要であり、これは意図的に設計されなければならない——追跡調査、連携した行政記録、あるいは比較コホートである。前者だけをサポートする報告ツールは、資金提供者が何を求めていたかにかかわらず、組織を静かにアウトプットのみの報告へと誘導する。成果がどこに説明責任連鎖の中に位置づけられるかについてはロジックモデルを、この区別を単位コスト指標に変換することについては成果あたりコストを、指標選択のより広いパターンについては公共セクターKPIを参照。

落とし穴

  • アウトプットを成果であるかのように報告すること。 「500人が参加した」は、それを立証することなく便益を示唆する。参加はアウトプットとして明示的にラベルづけすること。
  • 基準あるいは比較群がないこと。 反実仮想のない成果の数字——反実仮想分析を参照——は、プログラムの効果を、とにかく起きていたであろうことから分離できない。
  • 資金提供される指標を最適化すること。 資金がアウトプット量に結びついている場合、提供チームは合理的に持続的な変化よりも参加を最大化する——ゴードハートの法則の失敗モードである。
  • 成果の粉飾。 追跡測定がまったく裏付けにないまま、アウトプット指標を成果のように聞こえる言葉で再ラベルづけすること(「エンゲージメントの成果:500人の参加者」)。

出典