Тема 25 из 64· Метрики государственной эффективности и предоставления услуг

KPI государственного сектора

Ключевой показатель эффективности (KPI) — это выбранный, отслеживаемый показатель, замещающий собой ответ на вопрос, хорошо ли государственная услуга выполняет свою работу. В государственном секторе выбор KPI никогда не нейтрален: поскольку KPI привязаны к бюджетам, таблицам лидеров и карьерам, сам акт выбора формирует поведение всех, кто находится ниже по потоку, часто сильнее, чем политика, создавшая услугу.

Почему это важно

Наблюдение Чарльза Гудхарта 1975 года о денежно-кредитной политике — позже популяризированное Мэрилин Стратерн как «когда показатель становится целью, он перестаёт быть хорошим показателем» — самая важная предупреждающая надпись в управлении эффективностью государственного сектора. KPI, выбранный, чтобы описывать систему, начинает искажать эту систему в тот момент, когда ресурсирование, оплата или политическое выживание привязываются к нему. Каноническая иллюстрация — время реагирования скорой помощи NHS: когда обязательная восьмиминутная цель реагирования категории A стала жёсткой, было показано, что некоторые трасты «складировали» машины скорой помощи прямо за пределами хронометража времени реагирования или перекласифицировали вызовы, чтобы попасть в цифру, не меняя результаты для пациентов. Руководство Национального контрольно-ревизионного управления Великобритании (NAO) по выбору и использованию показателей эффективности — изложенное в его отчётах об экономической эффективности и в концептуальной рамке «Performance Measurement by Regulators» и «Choosing the Right FABRIC» (Fit for purpose, Appropriate, Balanced, Robust, Integrated, Cost-effective — соответствующий назначению, уместный, сбалансированный, надёжный, интегрированный, экономически эффективный) — существует именно потому, что ведомства продолжали выбирать показатели, лёгкие для отчётности, а не показатели, трудные для манипуляции. Инженер программного обеспечения, выпускающий панель показателей, по которой будут судить министра или директора, независимо от своего намерения, проектирует структуру стимулов государственного института.

Математика

Проектирование KPI — тема, оформленная как концептуальная рамка, но оценка кандидата в KPI — это повторяемый контрольный список, а не формула:

For each candidate KPI, score against:
  Fit for purpose  — does it measure the outcome, or a proxy several steps removed?
  Appropriate      — does it belong to the people who can actually influence it?
  Balanced         — is it paired with a counter-metric that catches gaming?
  Robust           — can it survive audit, or is it self-reported and unverifiable?
  Integrated       — does it fit the wider set, or push against another KPI?
  Cost-effective   — does collecting it cost more than the decision it informs?

Leading vs lagging split:
  Leading indicator  → predicts future outcome, but often gameable (e.g. calls answered <60s)
  Lagging indicator  → confirms the outcome happened, but arrives too late to steer (e.g. annual
                        satisfaction survey)
  A defensible KPI set pairs at least one of each per objective.

Практический пример

Трест скорой помощи: трест отчитывается о KPI времени реагирования категории A (угрожающие жизни случаи) «75% вызовов, на которые отреагировали в течение 8 минут». За один квартал поступает 6000 вызовов категории A; на 4500 отреагировали в течение 8 минут, что даёт 75,0% — на вид цель достигнута.

Headline KPI = 4,500 / 6,000 × 100 = 75.0%  (meets the 75% threshold)

Но аудит на предмет закона Гудхарта добавляет контрпоказатель: среднее время реагирования для самых медленных 10% вызовов.

Slowest decile mean response = 34 minutes (up from 19 minutes two years earlier)

Трест достигает цели, в то время как хвост распределения — вызовы, наиболее вероятно подлинно угрожающие жизни, если сортировка неидеальна, — стал намного хуже, потому что бригады приоритизируются к вызовам, близким к восьмиминутному обрыву, а не к клинической срочности. Единственный KPI рассказал ложную историю; парный KPI рассказал истинную.

Связь с разработкой программного обеспечения

Инженеры, создающие панели показателей эффективности для государства, функционально проектируют API стимулов организации. Практические следствия: инструментируйте знаменатель так же строго, как числитель (KPI, представленный как голый процент, провоцирует манипуляцию знаменателем — см. стоимость транзакции о той же ловушке в цифровых услугах); встраивайте контрпоказатели в ту же панель показателей, а не в отдельный отчёт, который никто не читает, чтобы манипуляция была видна в точке принятия решения; и версионируйте определение KPI, потому что тихое переопределение (изменение того, что считается «вызовом», «делом» или «завершением») функционально эквивалентно изменению цели без объявления об этом. Система показателей общественной ценности — один структурированный способ предотвратить чтение единственного KPI изолированно, а подотчётность на основе результатов — дисциплина выбора популяционных KPI, которые не может в одностороннем порядке исказить одна команда.

Подводные камни

  • Выбор легко собираемого показателя вместо значимого: время ответа на звонок тривиально логировать; решил ли звонок проблему гражданина — нет, но результатом является только второе. Сопротивляйтесь соблазну по умолчанию использовать то, что система уже выдаёт.
  • Отсутствие контрпоказателя: любой KPI, привязанный к деньгам или репутации, будет манипулироваться на пределе; выпускайте его с парным показателем, улавливающим вероятный вектор манипуляции, до публикации.
  • Переопределение показателя без журнала изменений: замена «полученных вызовов» на «отвеченные вызовы» ради приукрашивания тренда уничтожает доверие к временному ряду в момент обнаружения — всегда публикуйте журнал изменений определений вместе с цифрами.
  • Смешение деятельности с результатом: подсчёт завершённых инспекций — это выпуск; подсчёт объектов, приведённых в соответствие, ближе к результату (см. результаты и выпуски).

Источники

  • National Audit Office, "Choosing the Right FABRIC: A Framework for Performance Information." https://www.nao.org.uk/
  • Marilyn Strathern, "'Improving Ratings': Audit in the British University System," Social Anthropology, 1997 (formulation of Goodhart's law as commonly cited).
  • National Audit Office, investigations into NHS ambulance service performance reporting. https://www.nao.org.uk/