トピック 27 / 64· 政府の業績と提供に関する指標

成果主義的説明責任(Outcomes-Based Accountability, OBA)

成果主義的説明責任は、Results-Based Accountability(RBA)とも呼ばれ、公共セクターの報告が習慣的に混同する二つの問いを分離するためのマーク・フリードマンの枠組みである——「人口はうまくいっているか?」(人口レベルの説明責任)と「この特定のプログラムはうまくいっているか?」(業績説明責任)である。フリードマンの説明によれば、この二つを混同することが、うまく運営されているプログラムが、そもそも動かす力を持っていなかった人口トレンドについて非難される最も一般的な原因である。

重要な理由

フリードマンは『Trying Hard Is Not Good Enough』(2005年)でこの枠組みを示し、ほとんどの公的報告は、単一の機関が管理していない人口レベルの統計(10代の妊娠率、失業率、平均寿命)に意思決定者を溺れさせるか、誰かの人生が改善したかどうかについて何も語らないプログラムレベルの活動数(対応した利用者数、行われた紹介数)に溺れさせるかのいずれかだと論じる。RBAの貢献は、この二つを分けたままにする、小さく規律ある語彙である——人口レベルの成果(「子どもは健康に生まれる」のような人口全体の福祉状態)は単一の機関に属さず、多くのパートナーが共に動くことを必要とする。業績測定(特定のプログラムが特定の利用者にどれだけうまく提供しているか)は単一の機関に属し、その機関が実際に影響を与えられるものに対してのみ判断されるべきである。フリードマンの「三つの業績の問い」——どれだけ行ったか、どれだけうまく行ったか、そして誰かの暮らしは良くなったか——は、現在、米国の州・郡レベルの対人サービス契約に組み込まれており、RBAに沿ったコンサルティング・ツールキットであるClear Impactを通じて、英国やコモンウェルスの地方自治体の委託にも広く使われている。実務上の利害は契約上のものである——ある住宅プログラムは、その手の届かないマクロ経済的な原因によって都市のホームレス率が上昇したという理由で資金を打ち切られるべきではないが、その自身の利用者が住居確保できていない場合には、間違いなく資金を打ち切られるべきである。

計算式

人口説明責任(コミュニティ、地域、国が共有する「大きな絵」):
  成果       — 福祉の状態(例えば「住民は経済的に安定している」)
  指標       — その状態の測定値(例えば失業率、世帯所得の中央値)
  → いかなる単一のプログラムもこの指標を所有しない。動かすには
    多くの貢献者が必要である

業績説明責任(一つのプログラムが責任を持つもの):
  どれだけ行ったか?   — 活動量(対応した利用者、提供した単位)
  どれだけうまく行ったか? — 品質/効率性(プログラム完了率、
                          利用者あたりコスト)
  誰かの暮らしは良くなったか? — 重要な成果(プログラム後6か月の
                                雇用率、前後あるいは比較群との比較)

プログラムは、その規模と設計がそれ単独で動かしうる場合を除き、
第三の業績の問いで判断されるのであって、人口指標で直接
判断されるのではない。

計算例

市が資金提供する雇用支援プログラム、年間500人の参加者、RBA形式の業績枠組みの下で自治体に委託されている:

人口指標(文脈であり、プログラムのスコアカードではない):
  市の失業率:6.2%(前年の5.8%から上昇、プログラムの
  管理外の工場閉鎖が原因)

業績測定(プログラムの実際の説明責任):
  どれだけ:500人の参加者が登録(目標480人)——達成
  どれだけうまく:完了率78%;完了者1人あたりコスト
                = £340,000 / 390人 ≈ £872
  暮らしは良くなったか:390人の完了者のうち260人が6か月時点で
                       持続的な雇用にある=66.7%対、マッチングされた
                       比較群の41%(反実仮想分析を参照)

人口説明責任の読み方では、このプログラムは失敗しているように見える——市の失業率はプログラム実施期間中に上昇した。RBAの業績説明責任の読み方では、このプログラムは成功している——量的目標を達成し、質を維持し、マッチングされた比較群を25.7ポイント上回る雇用成果を生み出した一方で、人口指標は、プログラムの管理を完全に超えた理由(工場閉鎖)で動いた。

ソフトウェア開発との関連

RBAは、なじみ深いSREの区別に直接対応する——人口指標は、単一の技術チームがエンドツーエンドで所有していない会社レベルの北極星指標(会社の収益、市場シェア)に似ており、業績測定はチーム自身のSLOに似ている——その設計決定が実際に動かすものである。両方を、どちらがどちらかをラベルづけせずに報告するダッシュボードは、まさにRBAが防ぐために構築された誤帰属を招く——オンコールのエンジニアが、依存関係にあるチームが管理する指標について非難されることである。成果契約のための報告ツールを委託あるいは構築する際は、単一の混合されたKPIではなく、「どれだけ/どれだけうまく/暮らしは良くなったか」の三つ組を、第一級の別々にフィルタ可能なフィールドとして構築すること——これは公共セクターKPIにおける先行指標と遅行指標を分離するのと同じ規律である。RBAはまた、成果連動型支払いと社会的インパクト債の背後にある説明責任のロジックでもある——PbR契約は、介入策が本当にその支配的な原動力でない限り、人口指標ではなく「暮らしは良くなったか」という業績測定でのみ公平に支払うことができる。

落とし穴

  • プログラムが制御できない人口指標に対して支払いや罰則を課すこと。 これはまさにRBAが防ぐために存在する唯一の誤りである。プログラムが人口の成果に対して主要な貢献者なのか副次的な貢献者なのかを、それに結果を結びつける前に常に追跡すること。
  • 「どれだけ行ったか」を「暮らしは良くなったか」であるかのように報告すること。 活動数(対応した利用者数)は最も収集しやすく最も情報量の少ないデータである。「誰かの暮らしは良くなったか」という問いが、理想的には反実仮想に対して、実際の成果データで答えられることを主張すること(反実仮想分析を参照)。
  • RBA指標を永久に固定されたものとして扱うこと。 フリードマンの方法は明示的に反復的である——「データ、物語、何がうまくいくか、行動計画」というサイクルであり、一回限りのスコアカード設計の演習ではない。
  • 「暮らしは良くなったか」に対する比較群がないこと。 反実仮想を伴わない前後の変化は、プログラムの効果を、人口がとにかく示していたであろうトレンドと混同する。

出典