Тема 30 із 64· Метрики результативності та надання в уряді

Метрики задоволеності громадян

Метрики задоволеності громадян вимірюють, як люди оцінюють свій безпосередній досвід публічної послуги — відмінне від довіри до інституцій загалом і відмінне від того, чи послуга справді досягла хорошого результату. Послуга може бути улюбленою й неефективною, або ефективною й нелюбою; розрив між ними сам по собі — діагностична інформація, за якою команда надання має стежити.

Чому це важливо

Задоволеність вимірюється на двох різних висотах, які рутинно змішують. На рівні послуги нині припинена британська Performance Platform та сучасний посібник послуг GOV.UK вимагають опитування задоволеності для кожної послуги (зазвичай п'ятибальна шкала від «дуже задоволений» до «дуже незадоволений», що проводиться в точці транзакції) як одного з чотирьох обов'язкових KPI послуги — див. стандарти послуг та метрики транзакцій. На інституційному рівні британське Civil Service People Survey вимірює залученість та досвід працівників у кожному відомстві центрального уряду щорічно, а окремо програма OECD «Trust in Government» опитує публічну довіру до національного уряду в країнах-членах, відстежуючи довготривалий шаблон спаду й відновлення, сильно сформований кризами (фінансова криза 2008 року та пандемія COVID-19 обидві викликали різкі, помітні рухи в числах довіри OECD). Причина, чому інженери, що створюють послуги для громадян, мають тримати задоволеність і результат окремо, — відомий режим відмови в дизайні послуг: гарно спроєктована, проста у використанні цифрова форма для заяви на допомогу може отримати дуже високу задоволеність, тоді як лежача в основі політика — правила прийнятності, відставання в обробці, суми присудження — не покращує становище заявника. Задоволеність вимірює інтерфейс; вона не вимірює цінність, доставлену за ним.

Математика

Чиста задоволеність = % задоволених (або дуже задоволених) − % незадоволених (або дуже незадоволених)
                      (нейтральні/без думки відповіді виключені з обох доданків, але враховані
                      в базі відповідей для обчислення кожного відсотка)

Розрив задоволеність–результат = бал задоволеності − бал досягнення результату
                      (обидва нормалізовані 0–100; великий додатний розрив сигналізує про
                      послугу, що «приємна на відчуття», але недодає по суті)

Індекс довіри (у стилі OECD) = % респондентів, що відповідають «так» на
                      «чи маєте ви довіру до [національного уряду]?»
                      відстежується як часовий ряд, зазвичай з розбивкою за
                      віком, доходом та освітою

Робочий приклад

Послуга е-рахунків за податок на нерухомість місцевої влади: опитування задоволеності в точці успішної транзакції показує 2400 респондентів: 1650 задоволених/дуже задоволених, 250 незадоволених/дуже незадоволених, 500 нейтральних.

Чиста задоволеність = (1650/2400 × 100) − (250/2400 × 100)
                    = 68,75% − 10,42%
                    = +58,3 чистої задоволеності

Окремо це виглядає сильно. Але опитування показують лише користувачам, які успішно завершили транзакцію — відоме викривлення вимірювання (див. пастки нижче). Поєднання його з метрикою рівня завершення зі стандартів послуг та метрик транзакцій показує, що завершення лише 71%, що означає:

Справжня задоволеність популяції не виміряна для 29%, що покинули шлях —
імовірно найнезадоволенішої когорти, бо покидання саме по собі —
сильний негативний сигнал, якого опитування ніколи не вловлює.

Національна ілюстрація (структура ряду довіри у стилі OECD): довіра до національного уряду повідомлена на 42% у році 1, падає до 34% у році 2 (кризовий рік) і відновлюється до 39% у році 3 — траєкторія, типова для шаблону шоку й часткового відновлення, який OECD документує в країнах-членах після великих криз.

Зв'язок з програмною інженерією

Оснащуйте опитування задоволеності в кожній значущій точці виходу шляху користувача, а не лише при успішному завершенні — найпоширеніша інженерна помилка в цьому просторі, що непомітно перетворює метрику задоволеності на метрику марнославства, викривлену виживанням. Де можливо, парте бал задоволеності з метрикою завершення чи результату на тій самій панелі, щоб команда не могла святкувати зростання задоволеності, поки завершення тихо падає (див. вартість на транзакцію та цифрову інклюзію щодо того, кого виключають із цифрового вибіркового опитування задоволеності ще на старті — нецифрові та з цифровою допомогою користувачі системно недопредставлені в опитуваннях у ході послуги). Дані про задоволеність і довіру також безпосередньо живлять плече легітимності стратегічного трикутника Мура і належать до перспектив «клієнт» та «легітимність» картки показників публічної цінності — див. метрики довіри й легітимності щодо інституційного відповідника цієї метрики рівня послуги.

Пастки

  • Викривлення виживанням в опитуваннях у точці завершення: користувачі, що покидають шлях, ніколи не бачать опитування, тож високий бал задоволеності в ході послуги може співіснувати з низьким рівнем завершення та великою невидимою популяцією незадоволених, що не завершили.
  • Вважати задоволеність замінником результату: гарний інтерфейс для погано спроєктованої політики добре оцінюється за задоволеністю й погано за результатом — завжди повідомляйте обидва, ніколи одне як заміну іншого.
  • Малі, нерепрезентативні вибірки, повідомлені з хибною точністю: бал задоволеності від кількох сотень самовідібраних респондентів, повідомлений до однієї десяткової, натякає на впевненість, яку розмір вибірки не може підтримати.
  • Ігнорування демографічної розбивки: національні числа довіри й задоволеності, не розбиті за віком, доходом, інвалідністю чи цифровим доступом, можуть маскувати різко розбіжний досвід між групами — шаблон, який публікації OECD Trust in Government самі чітко розбивають.

Джерела