トピック 7 / 64· 公共価値の基礎
置き換えと帰属
置き換え(ディスプレイスメント)は、あるプログラムの見かけ上の便益が、何か新しいものを創出するのではなく、他の場所から活動や便益を奪うことによって達成される場合に発生する——あなたの勝利は誰か他の人の損失である。帰属は関連する問いであり、他の関係者や要因も貢献している中で、観察された成果のうちどれだけを自らの介入策の功績として本当に主張できるかを問う。両者は、死荷重と並んで英国公共セクター評価指針における標準的な調整項目であり、両方とも、実際よりもはるかに強力に見える影響力の主張において日常的に省略されている。
重要な理由
50の店舗が再生地域へ移転するのを支援した地方自治体の企業助成制度は、「50社を支援し、200人の雇用を創出した」と報告できる——しかし、もしそれらの企業が単に拡大するのではなく、隣接する商店街から単に移動しただけであれば、雇用は創出されたのではなく置き換えられたのであり、その自治体全体(あるいは地域全体)での純効果はゼロに近い可能性がある。HM TreasuryのMagenta Bookと長年の追加性ガイドは、まさにこの理由で置き換えを必須の控除項目として扱っている——地域的な成功事例は、それが国や地域レベルでの純便益を生み出していない場合であっても、よく見られるものであり、価値は単に移動しただけであり、しばしばそれを失った地域や関係者にとって不利になる形で移動している。構造基金の評価指針(旧EU地域開発基金プログラムやUK Shared Prosperity Fundのような国内後継プログラムに使用される)は、これを三つの空間的規模で形式化している——地域内での置き換え(町の中)、広域での置き換え(地域の中)、そして全国的な置き換え(英国全体)である。なぜなら、ある規模では追加的である介入策が、より広い規模では純粋な置き換えである場合があるからである——隣町から労働者を引き寄せる雇用プログラムは、地域の成功のように見えても、全国的には中立である。
帰属は、社会セクターや省庁間の公共サービス業務で現在標準となっている、パートナーシップの多い提供体制における姉妹問題である。三つの組織がホームレス予防サービスを共同で提供する場合、各組織の年次報告書は、それぞれ独立してホームレスの路上生活の同じ減少について功績を主張することがある——報告書を合計すると、主張される影響が観察された現実の変化を、時には数倍も上回ることがある。Magenta Bookの寄与分析に関する指針は、複数機関による提供体制では単一の関係者への無作為化された帰属がしばしば不可能であるという理由で存在しており、正直な答えはしばしば「私たちはこの成果に貢献した」であって、「私たちがこの成果を引き起こした」ではない。
計算式
標準的な純影響シーケンスの一部としての置き換え(完全な連鎖については追加性と死荷重を参照):
純追加影響 = 総成果 − 死荷重 − 置き換え − 漏出、× 乗数
置き換え率 = 他所から転用された便益/活動
/ 観察された総便益/活動
複数の関係者が一つの成果に貢献する場合の帰属は、通常、正確な割合ではなく寄与シェアとして表現される。なぜなら、それは通常、置き換えと同じ厳密さでは測定できないからである。
帰属可能なシェア ≈ f(因果的貢献の強さ、他の関係者の貢献、
外部/文脈的要因)
主張される影響は決して以下を超えてはならない:
Σ (各パートナーの帰属可能なシェア) ≤ 観察された総成果の100%
計算例
再生助成金:ある自治体の商店街助成制度は、助成対象地域で200件の新規小売雇用が創出されたと報告する。追跡調査によると、そのうち60件は同じ自治体内の助成対象外の隣接する商店街から移転した企業によるものであり、さらに30件は、この助成金がなくてもとにかく地域内のどこかに開設されていたであろう全国チェーンの新規出店によるものであることがわかる。
主張される総雇用 = 200
地域内の置き換え = 60(自治体内で移動)
広域での置き換え = 30(とにかく地域内で開設されていた)
純追加雇用(自治体レベル) = 200 − 60 = 140
純追加雇用(広域レベル) = 200 − 60 − 30 = 110
正直な見出しの数字は、資金提供者が関心を持つ地理的規模に依存する——国や地域レベルで評価されるTreasuryのビジネスケースは、自治体レベルの140ではなく、まして生の200でもなく、110を使うべきである。
複数機関によるホームレスサービス:三つのパートナー組織(自治体、住宅慈善団体、保健トラスト)が共同で路上生活削減サービスを提供している。その地域での路上生活者数は年間で30人減少した。各組織の個別の年次報告書は「私たちは路上生活を30人減らした」と主張する——三つの報告書を合計すると、実際の減少の3倍にあたる90人を支援したと主張していることになる。各パートナーにシェアを割り当てる寄与分析(例えば、文書化された役割と独立した評価に基づいて自治体40%、慈善団体35%、保健トラスト25%)を行えば、それぞれ12、10.5、7.5と報告され、これは観察された30に正しく合計される。
ソフトウェア開発との関連
置き換えと帰属は、複数拠点あるいは複数パートナーによる提供体制のために、影響追跡システムや成果報告システムがどのように設計されるべきかを形づくる。
- 地理的・組織的な範囲は、あらゆる影響力ダッシュボードにおいて明示的な第一級のフィールドであるべきである——「自治体について」報告された数字と「地域について」報告された同じ数字は異なる値であり、両者を混同するシステムは、ポートフォリオレベルで照合できない数字を生み出す。
- 複数のパートナーが共同で提供する場合、成果システムは寄与シェアを記録すべきであり(少なくとも共同帰属を明示すべきである)、各パートナーの報告モジュールが独立して共有成果の100%を主張することを許すべきではない——さもなければ、ポートフォリオレベルの集計は総影響を、時にはひどく誇張してしまう。
- これは社会的投資収益率と助成成果報告につながる——置き換えを無視するか、共有成果を過剰に帰属するSROIやIRIS+の計算は、監査や再現に耐えない誇張された比率を生み出す。
落とし穴
- より広い置き換えを確認せずに地域的な成功を報告すること。 プログラムは、最小の報告規模では非常に成功しているように見えながら、より広い規模では中立あるいはマイナスであることがある。常に、その純数値が適用される地理的規模を明記すること。
- 共同提供のすべてのパートナーに全面的な功績を主張させること。 寄与シェアが合意され文書化されていない限り、パートナー横断的な集計報告は総影響を誇張してしまう——パートナーレベルの主張が観察された総数を超えて合計されていないか確認すること。
- 帰属を実際には判断であるものを正確な割合として扱うこと。 寄与分析は、無作為化された反実仮想とは異なり、測定された事実ではなく、擁護可能な推定値を生み出す。誤った精度ではなく、適切な不確実性とともに提示すること。
- 市場向けの介入策における置き換えを無視すること。 企業支援、雇用制度、地域密着型の再生は典型的な高置き換えカテゴリーである。これらについて置き換えの確認を任意ではなく必須として扱うこと。
出典
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), including guidance on contribution analysis. https://www.gov.uk/government/publications/the-magenta-book
- HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition).
- European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on local, regional, and national displacement scales.
- Mayne J. "Contribution Analysis: An Approach to Exploring Cause and Effect." ILAC Brief No. 16, 2008.