Тема 30 из 64· Метрики государственной эффективности и предоставления услуг

Метрики удовлетворённости граждан

Метрики удовлетворённости граждан измеряют, как люди оценивают свой непосредственный опыт взаимодействия с государственной услугой — это отличается от доверия к институтам в целом и от вопроса, действительно ли услуга привела к хорошему результату. Услуга может нравиться людям и при этом быть неэффективной, либо быть эффективной, но не нравиться; сам разрыв между этими двумя вещами — диагностическая информация, за которой команде реализации следует наблюдать.

Почему это важно

Удовлетворённость измеряется на двух разных уровнях, которые регулярно смешивают. На уровне услуги ныне упразднённая Performance Platform Великобритании и сегодняшнее руководство GOV.UK Service Manual требуют опроса удовлетворённости по каждой услуге (как правило, по пятибалльной шкале от «полностью удовлетворён» до «полностью неудовлетворён», проводимого в момент транзакции) как одного из четырёх обязательных KPI услуги — см. стандарты услуг и метрики транзакций. На институциональном уровне ежегодный опрос государственной гражданской службы Великобритании (Civil Service People Survey) измеряет вовлечённость и опыт сотрудников во всех центральных ведомствах, а отдельно программа ОЭСР «Доверие к государству» (Trust in Government) опрашивает общественное доверие к национальному правительству в странах-членах, отслеживая долгосрочную закономерность спада и восстановления, во многом обусловленную кризисами (и финансовый кризис 2008 года, и пандемия COVID-19 вызвали резкие, заметные изменения в показателях доверия ОЭСР). Причина, по которой инженерам, разрабатывающим обращённые к гражданам услуги, необходимо разделять удовлетворённость и результат, — известный сбой в проектировании услуг: прекрасно спроектированная, простая в использовании цифровая форма для заявки на пособие может получить очень высокую оценку удовлетворённости, в то время как лежащая в основе политика — правила права на получение, очереди обработки, размеры выплат — никак не улучшает положение заявителя. Удовлетворённость измеряет интерфейс; она не измеряет ценность, доставленную за ним.

Математика

Net satisfaction = % satisfied (or very satisfied) − % dissatisfied (or very dissatisfied)
                    (neutral/no-opinion responses excluded from both terms, but counted
                    in the response base for calculating each percentage)

Satisfaction-to-outcome gap = satisfaction score − outcome achievement score
                    (both normalized 0–100; a large positive gap signals a service
                    that "feels good" but under-delivers on substance)

Trust index (OECD-style) = % of survey respondents answering "yes" to
                    "do you have confidence in [national government]?"
                    tracked as a time series, typically disaggregated by
                    age, income, and education

Практический пример

Услуга электронного выставления счетов по муниципальному налогу органа местного самоуправления: опрос удовлетворённости в момент успешной транзакции показывает 2400 респондентов: 1650 удовлетворены/полностью удовлетворены, 250 неудовлетворены/полностью неудовлетворены, 500 нейтральны.

Net satisfaction = (1,650/2,400 × 100) − (250/2,400 × 100)
                  = 68.75% − 10.42%
                  = +58.3 net satisfaction

Изолированно это выглядит убедительно. Но опрос показывается только пользователям, успешно завершившим транзакцию, — известное искажение измерения (см. подводные камни ниже). Сопоставление с показателем завершения из стандартов услуг и метрик транзакций показывает, что завершение составляет лишь 71%, а значит:

True population satisfaction is unmeasured for the 29% who abandoned the journey —
plausibly the most dissatisfied cohort, since abandonment is itself a strong negative
signal the survey never captures.

Иллюстрация на национальном уровне (структура ряда доверия в стиле ОЭСР): доверие к национальному правительству составляет 42% в 1-м году, падает до 34% во 2-м году (кризисный год) и восстанавливается до 39% в 3-м году — траектория, типичная для закономерности шока и частичного восстановления, зафиксированной ОЭСР в странах-членах после крупных кризисов.

Связь с разработкой программного обеспечения

Инструментируйте опросы удовлетворённости в каждой значимой точке выхода из пути пользователя, а не только при успешном завершении, — самая распространённая инженерная ошибка в этой сфере, которая незаметно превращает показатель удовлетворённости в тщеславную метрику, искажённую смещением выжившего. Где возможно, сопоставляйте показатель удовлетворённости с показателем завершения или результата на одной и той же панели показателей, чтобы команда не могла праздновать рост удовлетворённости, пока показатель завершения незаметно падает (см. стоимость транзакции и цифровую доступность о том, кто изначально исключается из выборки для цифровых опросов удовлетворённости — нецифровые пользователи и пользователи с ассистированным цифровым доступом систематически недопредставлены во встроенных в услугу опросах). Данные об удовлетворённости и доверии также напрямую питают легитимационную сторону стратегического треугольника Мура и относятся к перспективам «клиента» и «легитимности» системы показателей общественной ценности — см. метрики доверия и легитимности — институциональный аналог этой метрики уровня услуги.

Подводные камни

  • Смещение выжившего в опросах в точке завершения: пользователи, покинувшие процесс, никогда не видят опрос, поэтому высокий показатель удовлетворённости внутри услуги может сосуществовать с низким показателем завершения и большой невидимой группой неудовлетворённых пользователей, не завершивших процесс.
  • Использование удовлетворённости как косвенного показателя результата: хорошо спроектированный интерфейс для плохо продуманной политики получает высокую оценку удовлетворённости и низкую оценку результата — всегда сообщайте оба показателя, никогда не подставляйте один вместо другого.
  • Малые, непрезентативные выборки, представленные с ложной точностью: показатель удовлетворённости на основе нескольких сотен самоотобранных респондентов, представленный с точностью до десятой доли, подразумевает уверенность, которую размер выборки не может обеспечить.
  • Игнорирование демографической разбивки: национальные показатели доверия и удовлетворённости, не разбитые по возрасту, доходу, инвалидности или цифровому доступу, могут скрывать резко различающийся опыт разных групп — закономерность, которую собственные публикации ОЭСР по доверию к государству явно разбивают по этим признакам.

Источники