Тема 25 із 64· Метрики результативності та надання в уряді

KPI публічного сектору

Ключовий показник ефективності (KPI) — це обраний, відстежуваний захід, що замінює відповідь на питання, чи добре публічна послуга виконує свою роботу. В уряді вибір KPI ніколи не нейтральний: оскільки KPI пов'язані з бюджетами, рейтинговими таблицями й кар'єрами, сам акт вибору одного формує поведінку всіх, хто йде за ним, нерідко більше, ніж політика, що створила послугу.

Чому це важливо

Спостереження Чарльза Гудхарта 1975 року про грошову політику — пізніше популяризоване Меріліном Стретерн як «коли показник стає ціллю, він перестає бути хорошим показником» — найважливіша попереджувальна етикетка в управлінні результативністю публічного сектору. KPI, обраний, щоб описувати систему, починає спотворювати цю систему, щойно ресурси, оплата чи політичне виживання прив'язані до нього. Канонічна ілюстрація — час реагування карет NHS: коли восьмихвилинна ціль реагування Категорії A стала обов'язковою, було показано, що деякі трасти «стягували» карети поза годинником часу реагування або перекласифіковували виклики, щоб влучити в число без зміни результатів для пацієнтів. Настанови британського National Audit Office щодо вибору та використання показників ефективності — викладені в його звітах про цінність за гроші та в «Performance Measurement by Regulators» і рамці «Choosing the Right FABRIC» (Fit for purpose, Appropriate, Balanced, Robust, Integrated, Cost-effective) — існують саме тому, що відомства продовжували обирати показники, легкі для звітування, замість показників, важких для маніпуляції. Програмний інженер, що випускає панель, за якою будуть судити міністра чи директора, хоче він цього чи ні, проєктує структуру стимулів публічної установи.

Математика

Проєктування KPI — тема у формі рамки, але оцінювання кандидата в KPI — відтворюваний контрольний список, а не формула:

Для кожного кандидата в KPI оцінюйте за:
  Придатність до мети — чи вимірює він результат, чи замінник, віддалений на кілька кроків?
  Доречність          — чи належить він людям, які справді можуть на нього впливати?
  Збалансованість     — чи парується він із контрметрикою, що ловить маніпуляцію?
  Стійкість           — чи витримає він аудит, чи самозвітований і неперевірюваний?
  Інтегрованість      — чи вписується він у ширший набір, чи суперечить іншому KPI?
  Витратоефективність — чи його збір коштує більше за рішення, яке він інформує?

Розподіл на випереджальні й запізнювальні:
  Випереджальний показник → передбачає майбутній результат, але часто піддається маніпуляції
                            (напр. дзвінки, прийняті за <60 с)
  Запізнювальний показник → підтверджує, що результат настав, але надходить надто пізно для керування
                            (напр. щорічне опитування задоволеності)
  Обґрунтований набір KPI парує принаймні по одному кожного на ціль.

Робочий приклад

Траст швидкої допомоги: траст повідомляє KPI часу реагування Категорії A (загроза життю) «75% викликів оброблено протягом 8 хвилин». За один квартал надходить 6000 викликів Категорії A; 4500 виконано протягом 8 хвилин, що дає 75,0% — на вигляд у цілі.

Заголовний KPI = 4500 / 6000 × 100 = 75,0%  (відповідає порогу 75%)

Але аудит Гудхарта додає контрметрику: середній час реагування для найповільніших 10% викликів.

Середнє реагування найповільнішого децилю = 34 хвилини (проти 19 хвилин два роки тому)

Траст влучає в ціль, поки хвіст — виклики, найімовірніше справді загрозливі для життя, коли сортування недосконале, — значно погіршився, бо екіпажі спрямовуються на виклики, близькі до восьмихвилинного обриву, а не до клінічної терміновості. Єдиний KPI розповів хибну історію; парний KPI розповів правдиву.

Зв'язок з програмною інженерією

Інженери, що створюють панелі результативності для уряду, функційно проєктують API стимулів організації. Практичні наслідки: оснащуйте знаменник так само ретельно, як чисельник (KPI, повідомлений як голий відсоток, накликає маніпуляцію знаменником — див. вартість на транзакцію щодо тієї ж пастки в цифрових послугах); вбудовуйте контрметрики в ту саму панель замість окремого звіту, який ніхто не читає, щоб маніпуляція була видимою в точці прийняття рішення; і версіонуйте визначення KPI, бо мовчазне перевизначення (зміна того, що вважається «дзвінком», «справою» чи «завершенням») функційно еквівалентне зміні цілі без оголошення. Картка показників публічної цінності — один зі структурованих способів не дати єдиному KPI читатися окремо, а підзвітність на основі результатів — дисципліна вибору KPI на рівні популяції, які одна команда не може в односторонньому порядку спотворити.

Пастки

  • Вибір легкого для збору показника замість змістовного: час відповіді на дзвінок тривіально журналювати; чи вирішив дзвінок проблему громадянина — ні — але лише друге є результатом. Опирайтеся типовому вибору того, що система вже видає.
  • Відсутність контрметрики: будь-який KPI, пов'язаний з грошима чи репутацією, буде маніпульований на межі; постачайте його з парною метрикою, що ловить імовірний вектор маніпуляції, перед публікацією.
  • Перевизначення метрики без журналу змін: заміна «отриманих дзвінків» на «прийняті дзвінки», щоб підкреслити тренд, руйнує довіру до часового ряду в момент виявлення — завжди публікуйте журнал змін визначень поряд із числами.
  • Плутанина діяльності з результатом: підрахунок завершених інспекцій — продукт; підрахунок об'єктів, приведених до відповідності, ближчий до результату (див. результати проти продуктів).

Джерела

  • National Audit Office, "Choosing the Right FABRIC: A Framework for Performance Information." https://www.nao.org.uk/
  • Marilyn Strathern, "'Improving Ratings': Audit in the British University System," Social Anthropology, 1997 (formulation of Goodhart's law as commonly cited).
  • National Audit Office, investigations into NHS ambulance service performance reporting. https://www.nao.org.uk/