トピック 18 / 64· 社会的価値とインパクト測定

変化の理論

変化の理論は、長期的な目標から、それが達成されるために存在しなければならない前提条件と活動へと逆向きにマッピングされた、明示的な因果経路であり、各連結を結びつける前提とともに構築される。それは、望む成果から出発し、「これが起きるために、その直前に何が真実でなければならないか」を繰り返し問うことで構築される——これは実際に提供できる活動に到達するまで続けられる。これはロジックモデルとは逆方向であり、それゆえ両者は代替可能ではなく補完的である。

重要な理由

この逆向きマッピングの手法は、Center for Theory of ChangeとActKnowledgeによって形式化された。これは、評価者キャロル・ワイスによる、プログラムの前提を明示的にすることで、それを鵜呑みにするのではなく検証できるようにするという研究に基づいている。英国の助成金評価はこれを直接取り入れている——HM TreasuryのMagenta Bookは、変化の理論をあらゆる評価設計の出発点として扱っており、National Lottery Community Fundのような資金提供者は、申請者に、資金提供する前にそれを明確に示すことを要求している。これがソフトウェアエンジニアにとって重要な理由は、変化の理論が、あなたのシステムが何を測定すべきかを決定すべき文書だからである——もし因果連鎖が「給付の利用は、申請者が個別化された計算を受け取ることに依存する」と述べているなら、それはあなたの製品が計装され、それを立証あるいは反証できる検証可能な主張である。

計算式

変化の理論は数値的というより構造的なものである。各連結は前提と、その前提が誤りであることを示しうる指標の両方を持つべきである。

長期的な成果(目標)
  ↑ 前提条件 + 前提 + 指標
中間成果N
  ↑ 前提条件 + 前提 + 指標
  ...
中間成果1
  ↑ 前提条件 + 前提 + 指標
活動/介入策
  ↑ 投入された資源
投入

この構造は、各連結の前提が実際に成り立っているかどうかを検証するために存在する影響評価手法、そして長期的な成果がとにかく起きていたかどうかを検証する反実仮想分析に直接つながる。

計算例

地方自治体(ホームレス予防):長期的な成果は、立ち退きリスクのある世帯における12か月時点での持続的な賃貸契約である。

  • 前提条件:世帯が滞納家賃について現実的で負担可能な返済計画を持っている。前提:担当者が交渉した計画は、裁判所命令によるものよりも持続的である。指標:6か月時点で依然として有効な計画の割合。
  • 前提条件:世帯が受給資格のある給付を申請する。前提:デジタル給付計算ツールは、紙の書式に比べて正しい申請を増加させる。指標:ツール導入前後で比較した申請の正確性。
  • 活動:担当者によるトリアージ、デジタル給付計算ツール、滞納交渉。

120世帯のパイロットコホートでは、給付計算ツールの前提は102世帯(85%)で成り立ち、その後正しく申請した。これは、その後のプロセス評価によって立証されており、ホームレス予防に関する単一のエンドツーエンドの主張ではなく、その特定の連結に対するエビデンスをプログラムチームに与えている。

慈善団体(ユースメンタリング):長期的な成果は退学の減少である。逆向きにマッピングされた前提条件は、感情調整の改善 → メンターとの信頼できる一対一の関係 → 二学期にわたる一貫した週次の接触である。この理論は、「一貫した週次の接触」という前提条件を満たさないこと(例えばメンターの離職により)が、その成果が続かないことを予測することを明示的にしている——これは希望ではなく、検証可能で反証可能な主張である。

ソフトウェア開発との関連

変化の理論は、たった一つのダッシュボードが構築される前に、製品のデータモデルを形づくるべきである——どの連結が指標を必要とするかを特定し、記録するのが最も簡単なものにデフォルトで頼るのではなく、それらに特化して計装すること。それはまた、ロードマップの議論も規律する——連鎖のいずれの連結にもマッピングされない機能は、明らかに構築する価値があるとは言えない。理論が合意された後に構築される前向きの説明責任連鎖についてはロジックモデルを、変化の理論に依存してどの成果を評価するかの範囲を決める方法については社会的投資収益率を、中間成果の連結が依拠する区別については成果とアウトプットを参照。

落とし穴

  • ロジックモデルと混同すること。 変化の理論は因果的で説明的である(なぜそれがうまくいくと信じているか)。ロジックモデルは連続的で記述的である(何がどの順序で起こるか)。どちらか一方だけを作ると、「なぜ」あるいは説明責任の痕跡のいずれかが欠けたままになる。
  • 前提を暗黙のままにすること。 逆向きマッピングの価値全体は、検証可能な前提を表面化することにある。各連結が誤りになりうるものを名指しせず、ただ箱と矢印を並べただけの変化の理論は装飾にすぎない。
  • 一度構築して棚上げすること。 資金提供の申請のために書かれ、二度と見直されない変化の理論は、エビデンスがある連結に矛盾し始めた瞬間から役に立たなくなる。
  • ステークホルダーの意見を省略すること。 第一線の職員や受益者からの意見なしに委託者だけで作られた変化の理論は、実際にサービスを提供している誰も信じていない前提をコード化しがちである。

出典