トピック 30 / 64· 政府の業績と提供に関する指標

市民満足度指標

市民満足度指標は、人々が公共サービスの直接的な体験をどう評価するかを測定する——制度全般への信頼とは異なり、そしてそのサービスが実際に良い成果を達成したかどうかとも異なる。あるサービスは、好かれていながら効果がない場合も、効果がありながら好かれない場合もある。両者の間のギャップそのものが、提供チームが注視すべき診断情報である。

重要な理由

満足度は、日常的に混同される二つの異なる高度で測定される。サービスレベルでは、現在は廃止された英国のPerformance Platformと今日のGOV.UKサービスマニュアルは、四つの必須のサービスKPIの一つとして、サービスごとの満足度調査(通常、取引時点で実施される「非常に満足」から「非常に不満」までの5段階スケール)を要求している——サービス標準と取引指標を参照。制度レベルでは、英国Civil Service People Surveyが毎年、中央政府のすべての省庁にわたって従業員のエンゲージメントと経験を測定しており、別途OECDの「Trust in Government」プログラムが、加盟国全体で国民政府への信頼を調査しており、危機(2008年金融危機とCOVID-19パンデミックはどちらもOECDの信頼データに急激で目に見える変動をもたらした)によって大きく形づくられる長期的な下落と回復のパターンを追跡している。市民向けサービスを構築するエンジニアが満足度と成果を切り離して保持する必要がある理由は、サービス設計における既知の失敗モードである——給付申請のための美しくデザインされ使いやすいデジタルフォームは、非常に高い満足度を記録しうるが、その根底にある政策——受給資格ルール、処理の滞留、給付額——は申請者をまったく良くしないままにする。満足度はインターフェースを測定しているのであり、その背後で提供された価値を測定しているのではない。

計算式

純満足度 = %満足(あるいは非常に満足) − %不満(あるいは非常に
          不満)
          (中立/意見なしの回答は両方の項から除外されるが、
           各パーセンテージを計算するための回答母数には含まれる)

満足度・成果ギャップ = 満足度スコア − 成果達成スコア
          (両方とも0〜100で正規化;大きな正のギャップは、
           「良い感じがする」が実質的に成果を出していない
           サービスを示唆する)

信頼指標(OECD方式) = 「[国民政府]に信頼を持っていますか?」に
          「はい」と回答した調査回答者の割合、時系列で追跡され、
          通常年齢、所得、教育で細分化される

計算例

地方自治体の住民税電子請求サービス:取引成功時点での満足度調査が2,400件の回答を示す——1,650件が満足/非常に満足、250件が不満/非常に不満、500件が中立。

純満足度 = (1,650/2,400 × 100) − (250/2,400 × 100)
         = 68.75% − 10.42%
         = +58.3の純満足度

これは単独で見れば強い数字に見える。しかしこの調査は、取引を成功させた利用者にのみ表示される——既知の測定バイアスである(下記の落とし穴を参照)。サービス標準と取引指標からの完了率指標とペアにすると、完了率がわずか71%であることが分かる。つまり:

真の母集団満足度は、この工程を放棄した29%については測定されて
いない——放棄自体が調査が決して捕捉しない強い否定的シグナルで
あるため、もっとも不満な層である可能性が高い。

全国レベルの例示(OECD方式の信頼系列の構造):国民政府への信頼は1年目に42%と報告され、2年目(危機の年)には34%に下落し、3年目には39%に回復する——これは、OECDが加盟国全体で大きな危機の後に文書化する、ショックと部分的回復のパターンに典型的な軌跡である。

ソフトウェア開発との関連

満足度調査は、成功した完了時だけでなく、ユーザージャーニーのあらゆる意味のある離脱点で計装すること——これは、この分野で最も一般的な技術上の誤りであり、満足度指標を静かに、生存者バイアスに歪められた虚栄の指標に変えてしまう。可能な限り、満足度スコアを同じダッシュボードで完了率あるいは成果指標とペアにすること——これにより、チームが満足度の上昇を祝いながら、完了率が静かに低下していることを見逃すことができないようにする(デジタル満足度サンプリングからそもそも誰が除外されるかについては取引あたりコストとデジタル・インクルージョンを参照——非デジタルおよび支援付きデジタルの利用者は、サービス内調査において体系的に過少代表される)。満足度と信頼のデータはまた、ムーアの戦略的三角形の正当性の辺に直接つながり、公共価値スコアカードの「顧客」と「正当性」の視点に属する——このサービスレベルの指標に対する制度レベルの対応物については信頼と正当性指標を参照。

落とし穴

  • 完了時点調査における生存者バイアス。 ジャーニーを放棄した利用者は調査を決して見ないため、高いサービス内満足度スコアは、低い完了率と、不満を持つ完了できなかった人々からなる目に見えない大きな母集団と共存しうる。
  • 満足度を成果の代理として扱うこと。 設計の悪い政策のためによく設計されたインターフェースは、満足度では良い得点を、成果では悪い得点をとる——常に両方を報告し、一方をもう一方の代役として使わないこと。
  • 小規模で代表性のないサンプルを誤った精度で報告すること。 数百人の自己選択した回答者からの満足度スコアを小数点第一位まで報告することは、そのサンプルサイズが支えられない確信を示唆する。
  • 人口統計的な細分化を無視すること。 年齢、所得、障害、あるいはデジタルアクセスによって細分化されていない全国的な信頼・満足度の数字は、グループ間で大きく異なる経験を隠しうる——OECD自身のTrust in Governmentの発表は、まさにこの理由で細分化している。

出典