トピック 6 / 64· 公共価値の基礎

追加性と死荷重

追加性とは、ある介入策がそれなしでは起こらなかった成果を引き起こしたかどうかを問うものである。死荷重(デッドウェイト)はその鏡像であり、プログラム、助成金、補助金がなくても、とにかく起きていたであろう成果の割合を指す。政府プログラムや慈善団体からの影響力に関する主張のほぼすべては、死荷重が差し引かれるまでは効果を誇張している。だからこそ、英国の評価指針は、これをあらゆる見出しの数字に対する最初で最も重要な調整として扱っている。

重要な理由

「500社の事業を成長させるよう支援した」は成果のように聞こえるが、もしそのうち300社が——地域経済が回復していた、他の資金調達ルートがあった、プログラム開始前から既に成長軌道に乗っていたなどの理由で——とにかく成長していたのであれば、そのプログラムの真の追加的貢献は500ではなく200である。HM TreasuryのMagenta Bookと、長年使われているHM Treasury/BISの「追加性ガイド」(もともと地域開発と再生プログラムのために開発され、それ以来英国政府の評価全体で広く使われている)は、死荷重を標準的な純影響シーケンスにおける最初の調整として形式化している——総効果マイナス死荷重、マイナス置き換え、マイナス漏出、乗数効果で調整して、純追加影響となる。このステップを省略することは、公共および社会セクターの影響力の主張が、意図的であるかどうかにかかわらず、誇張される最も一般的な方法である——比較群を持たず、参加者の総成果しか測定しない助成プログラムは、自らの効果を、とにかく起きていたであろうことと区別できない。

死荷重は固定された割合ではない。それは、特定の対象人口と介入策についての反実仮想に完全に依存する(反実仮想分析を参照)。以前のRegional Development Agenciesの下で行われたイングランドの地域開発評価では、企業支援の種類に応じて死荷重率が20〜60%の範囲であることがよく見られた。だからこそ、信頼できるプログラム評価は、単一の想定値ではなく死荷重調整後の範囲を報告するのであり、National Lottery Community FundやBig Society Capitalのような資金提供者は、助成金受給者に対して、総参加者数を報告するのではなく、成果報告の中で死荷重を明示的に扱うことを求めているのである。

計算式

英国の評価指針(Magenta Book、HM Treasury/BISの追加性ガイド、ESIFおよび構造基金の評価指針)に定められている標準的な純影響調整シーケンス:

総成果
  − 死荷重         (とにかく起きていたであろうもの)
  − 置き換え       (他所から移された活動/便益であり、新たに
                     創出されたものではない——displacement-and-attribution
                     を参照)
  − 漏出           (対象グループ/地域の外に発生する便益)
  × 乗数            (プラスの場合の追加的な間接/誘発された
                     経済活動)
  = 純追加影響

割合としての死荷重率:

死荷重率 = 介入策なしでも発生していたであろう成果
           / 観察された総成果

純追加成果 = 総成果 × (1 − 死荷重率)

計算例

企業支援助成プログラム:ある地域の助成制度が、支援を受けた500社が翌年に雇用を増やしたと報告し、平均して各社3人ずつ——総計1,500人の雇用という総主張である。

類似の非支援企業からなるマッチングされた比較群(反実仮想分析を参照)は、支援を受けた企業の雇用成長の40%が、マッチング群が同期間に示した実績に基づいて、とにかく起きていたであろうことを示している。

死荷重率 = 40%
純追加雇用 = 1,500 × (1 − 0.40) = 900人

このプログラムが正直に報告できる成果は1,500人ではなく900人である——これは死荷重調整だけによる40%の減少であり、置き換えや漏出を考慮する前の数字である。

慈善団体の雇用プログラム:ある慈善団体が、60万£のコスト(総計1件あたり£3,000)で、200人の長期失業者を雇用に結びつける。全国労働市場データは、いかなる介入策もなくても、比較可能な長期失業者コホートの約15%が同期間中に自然な労働市場の流動によって仕事を見つけることを示している。

死荷重率 = 15%
純追加就職者数 = 200 × (1 − 0.15) = 170
追加就職者1人あたりの真のコスト = £600,000 / 170 ≈ £3,529

総費用対就職者数の数字(£3,000)は、この慈善団体の追加的な貢献の真のコストをおよそ15%過小評価している。

ソフトウェア開発との関連

追加性と死荷重は、公共セクターや社会セクター向けの影響測定ソフトウェアや助成金管理ソフトウェアを構築する人にとって直接重要である。

  • 成果報告システムは、参加者の成果だけでなく、設計段階から比較群やベースライン群を捕捉するべきである——反実仮想を持たずに立ち上げたシステムに後から組み込むのは、最初から組み込んでおくよりもはるかに難しい(反実仮想分析を参照)。
  • 総参加者数だけを報告するダッシュボードは、資金提供者や監督機関に対して影響力を体系的に誇張する。死荷重の推定値が存在する場合(評価文献や比較群から)、ソフトウェアは総数の代わりではなく、総数と並べて死荷重を差し引いた数字を表示すべきである。
  • これは社会的投資収益率に直接つながる。そのSROI比率は、死荷重(および置き換え)が主張されている総成果から差し引かれて初めて信頼できるものとなる——このステップを省略するSROI計算機は、精査に耐えない誇張された比率を生み出す。

落とし穴

  • 総成果をすべて追加的であるかのように報告すること。 これは助成金・プログラム報告における最も一般的な影響測定の誤りである。見出しの数字を公表する前に、常に「これはとにかく起きていたか?」と問うこと。
  • 単一の死荷重率がどこにでも当てはまると仮定すること。 死荷重はセクター、対象人口、地域の経済状況によって大きく異なる。無関係な評価からの数字を再利用するのではなく、比較群またはセクター固有のエビデンスを使用すること。
  • 死荷重と置き換えを混同すること。 死荷重は同じ参加者に対する反実仮想の成果に関するものであり、置き換えは他の人々や場所への影響に関するものである——置き換えと帰属を参照。両者を混同すると、調整を二重にカウントしたり過小にカウントしたりすることになる。
  • 参加者による自己申告の死荷重。 受益者に「私たちの支援なしでもこれは起きていましたか?」と尋ねると、体系的に低い死荷重推定値が生まれる(参加者はプログラムの功績を認めがちである)。独立した比較群の方がはるかに信頼できる。

出典

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020). https://www.gov.uk/government/publications/the-magenta-book
  • HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition), originally developed with English Partnerships and the Housing Corporation.
  • European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on deadweight, displacement, and leakage in structural-funds evaluation.
  • National Lottery Community Fund, "Guidance on Outcomes and Impact Reporting." https://www.tnlcommunityfund.org.uk/