トピック 25 / 64· 政府の業績と提供に関する指標

公共セクターKPI

重要業績評価指標(KPI)は、公共サービスがうまくその仕事をこなしているかどうかを代表するために選ばれ、追跡される尺度である。政府においてKPIの選択は決して中立ではない——KPIは予算、ランキング、キャリアに結びついているため、一つを選ぶという行為は、そのサービスを生み出した政策そのものよりも、しばしば強く、その下流のすべての人の行動を形づくる。

重要な理由

金融政策に関するチャールズ・グッドハートの1975年の観察——後にマリリン・ストラザーンによって「ある指標が目標になると、それは良い指標であることをやめる」と広められた——は、公共セクターの業績管理における単一で最も重要な警告表示である。あるシステムを記述するために選ばれたKPIは、資源配分、給与、あるいは政治的な生存がそれに結びついた瞬間から、そのシステムを歪め始める。典型的な例はNHSの救急車応答時間である——8分以内のカテゴリーA応答目標が拘束力を持つようになったとき、一部のトラストが、応答時間の計測が始まる直前で救急車を「積み上げ」たり、患者の成果を変えることなくその数字を達成するために通報を再分類したりしていたことが明らかになった。業績指標の選択と使用に関する英国National Audit Officeの指針——その物有所値報告書全体、そして規制当局による業績測定と「Choosing the Right FABRIC」枠組み(目的に適合、適切、バランスが取れている、頑健、統合されている、費用効果が高い)にわたって示されている——が存在するのは、まさに各省庁が、操作しにくい指標ではなく、報告しやすい指標を選び続けてきたからである。大臣や理事が評価される対象となるダッシュボードを出荷するソフトウェアエンジニアは、意図するかどうかにかかわらず、公共機関のインセンティブ構造を設計している。

計算式

KPIの設計は枠組み形式の主題であるが、候補となるKPIの評価は公式ではなく、繰り返し使えるチェックリストである。

候補となる各KPIについて、以下に対して採点する:
  目的に適合          — それは成果を測定しているか、それとも
                        何段階も離れた代理指標か?
  適切                — それは実際にそれに影響を与えられる
                        人々のものか?
  バランスが取れている — 操作を捕捉する対抗指標とペアに
                        なっているか?
  頑健                — それは監査に耐えるか、それとも自己申告で
                        検証不能か?
  統合されている       — それはより広いセットに適合するか、
                        それとも別のKPIに逆らうか?
  費用効果が高い       — それを収集するコストは、それが伝える
                        意思決定のコストを上回っていないか?

先行指標対遅行指標:
  先行指標  → 将来の成果を予測するが、しばしば操作されやすい
             (例えば60秒未満で応答された電話)
  遅行指標  → 成果が起きたことを確認するが、操作するには遅すぎる
             タイミングで届く(例えば年次満足度調査)
  擁護可能なKPIセットは、目的ごとに少なくともそれぞれ一つを
  ペアにする。

計算例

救急車トラスト:あるトラストが、「カテゴリーA(生命に関わる)通報の75%を8分以内に応答する」というKPIを報告する。ある四半期において、6,000件のカテゴリーA通報が入り、4,500件が8分以内に対応される——75.0%で、一見目標達成である。

見出しのKPI = 4,500 / 6,000 × 100 = 75.0%(75%の閾値を満たす)

しかし、グッドハート監査は対抗指標を追加する——最も遅い10分位の通報の平均応答時間である。

最も遅い10分位の平均応答時間 = 34分(2年前の19分から上昇)

そのトラストは目標を達成しているが、その一方でテール部分——トリアージが不完全である場合に本当に生命に関わる可能性が最も高い通報——は大幅に悪化している。なぜなら、チームは臨床的な緊急性ではなく、8分の崖っぷちに近い通報に優先的に対応するようになっているからである。単一のKPIは誤った物語を語り、ペアにされたKPIは真の物語を語った。

ソフトウェア開発との関連

政府向けの業績ダッシュボードを構築するエンジニアは、機能的には組織のインセンティブAPIを設計している。実務上の含意:分子と同じくらい厳密に分母を計装すること(単なる割合として報告されるKPIは分母の操作を招く——デジタルサービスにおける同じ罠については取引あたりコストを参照)。誰も読まない別の報告書ではなく、同じダッシュボードに対抗指標を組み込むこと。これにより操作は意思決定の場で見えるようになる。そしてKPIの定義をバージョン管理すること。なぜなら、何が「通報」「案件」「完了」としてカウントされるかの静かな再定義は、目標を発表せずに変更することと機能的に等価だからである。単一のKPIが単独で読まれないようにする一つの構造化された方法については公共価値スコアカードを、単一のチームが一方的に歪められない人口レベルのKPIを選ぶ規律については成果主義的説明責任を参照。

落とし穴

  • 意味のある指標よりも収集しやすい指標を選ぶこと。 通話応答時間を記録するのは些細なことだが、その通話が市民の問題を解決したかどうかはそうではない——しかし後者だけが成果である。システムが既に出力しているものにデフォルトする誘惑に抵抗すること。
  • 対抗指標がないこと。 お金や評判に結びついたKPIは、周辺で操作される。それを公表する前に、ありそうな操作のベクトルを捕捉するペアの指標とともに出荷すること。
  • 変更履歴なしに指標を再定義すること。 トレンドを装うために「受け取った通報」を「応答した通報」に入れ替えることは、それが発覚した瞬間に時系列の信頼性を破壊する——常に数字とともに定義の変更履歴を公表すること。
  • 活動を結果と混同すること。 完了した検査の数を数えるのはアウトプットである。コンプライアンスに至った施設の数を数えることは、成果に近い(成果とアウトプットを参照)。

出典

  • National Audit Office, "Choosing the Right FABRIC: A Framework for Performance Information." https://www.nao.org.uk/
  • Marilyn Strathern, "'Improving Ratings': Audit in the British University System," Social Anthropology, 1997 (formulation of Goodhart's law as commonly cited).
  • National Audit Office, investigations into NHS ambulance service performance reporting. https://www.nao.org.uk/