Тема 31 із 64· Метрики результативності та надання в уряді

Стандарти послуг та метрики транзакцій

GOV.UK Service Standard — це 14-пунктовий контрольний список уряду Сполученого Королівства для створення та запуску публічної цифрової послуги, і він супроводжується невеликим обов'язковим набором кількісних метрик транзакцій — вартість на транзакцію, рівень завершення, цифрове охоплення та задоволеність користувачів, — які команди повинні публікувати для кожної чинної послуги центрального уряду. Разом стандарт і метрики є операційною, щоденною спеціалізацією ширших рамок публічної цінності й KPI цього репозиторію, спрямованою прямо на команди надання програмного забезпечення.

Чому це важливо

Service Standard, що підтримується в посібнику послуг GOV.UK, вимагає, щоб кожна оцінка в момент часу (альфа, бета, продуктивна) урядової цифрової послуги продемонструвала — серед своїх 14 пунктів — що команда розуміє потреби користувачів, працює в мультидисциплінарній команді, ітерує й покращує часто та оцінює інструменти, системи й способи роботи. Історично це стояло поряд із публічною Performance Platform, де кожна чинна послуга відкрито публікувала дані про транзакції; цю платформу відтоді закрито, але лежачий в основі обов'язок вимірювати й публікувати ці чотири основні метрики зберігається через настанови посібника послуг «measuring success». Причина, чому це відрізняється від загальної панелі програмних KPI, у тому, що ці метрики були явно спроєктовані як одна пов'язана економічна модель, а не чотири незалежні бали: весь аргумент заощаджень для цифрового уряду — Digital Efficiency Report Government Digital Service виявив цифрові транзакції приблизно у 20 разів дешевшими за телефонні і приблизно у 50 разів дешевшими за особисті для порівнянних послуг місцевої влади — реалізується лише якщо рівень завершення лишається високим, а цифрове охоплення справді зростає, а не просто додається дешевий канал поряд із незмінним дорогим.

Математика

Вартість на транзакцію   = загальна вартість експлуатації послуги / кількість завершених транзакцій
Рівень завершення        = завершені транзакції / розпочаті транзакції × 100
Цифрове охоплення        = транзакції цифрового каналу / транзакції всіх каналів × 100
Задоволеність користувачів = % задоволених + дуже задоволених, 5-бальне опитування в ході послуги

Заощадження від зміщення каналу = обсяг транзакцій × зміщення охоплення × (вартість на транзакцію
                                  у старому каналі − вартість на транзакцію цифрово)

Вартість попиту від збоїв = (1 − рівень завершення) × транзакції, спробувані цифрово ×
                            вартість резервного каналу, яким ці користувачі натомість користуються

Робочий приклад

Ілюстративна послуга поновлення ліцензії центрального уряду, 2 мільйони транзакцій на рік, наразі 65% телефон (3,00 £/транзакція) і 35% цифрово (0,30 £/транзакція), рівень завершення 80%. Перепроєктування відносно 14-пунктового Service Standard піднімає цифрове охоплення до 60%, а завершення до 92%:

Заощадження від зміщення охоплення = 2 000 000 × 0,25 × (3,00 − 0,30) = 1 350 000 £/рік

Вартість попиту від збоїв, до:
  2 000 000 × 0,35 × (1 − 0,80) × 3,00 £ = 420 000 £/рік (ті, що покинули, повертаються до телефону)

Вартість попиту від збоїв, після:
  2 000 000 × 0,60 × (1 − 0,92) × 3,00 £ = 288 000 £/рік

Чисте заощадження від попиту від збоїв = 420 000 £ − 288 000 £ = 132 000 £/рік

Загальне річне заощадження ≈ 1 350 000 £ + 132 000 £ = 1 482 000 £/рік

Арифметика чітко показує, чому рівень завершення — не другорядна метрика: без покращення з 80% до 92% заощадження від зміщення охоплення було б частково відібране попитом від збоїв, що прямує розчарованих цифрових користувачів назад до дорогого телефонного каналу.

Зв'язок з програмною інженерією

Ці чотири метрики — робочий приклад панелі витрат-наслідків: одна метрика вартості, відокремлена від трьох метрик результату/якості, свідомо ніколи не згорнута в єдиний бал — та сама дисципліна, що обстоюється в KPI публічного сектору. Для інженерів це розпадається на конкретну, закріплювану роботу: рівень завершення — проблема оснащення воронки, а кожну точку покидання на шляху, в принципі, можна локалізувати й виправити; вартість на транзакцію потребує справжнього обліку одиничних витрат, включно з витратами каналів, що обслуговуються персоналом, і паперових, а не лише витрати на хмарний хостинг (див. вартість на транзакцію та загальну вартість володіння в урядових ІТ); а цифрове охоплення — метрика справедливості в костюмі ефективності — громадяни, які не можуть або не хочуть міняти канал, непропорційно літні, з інвалідністю чи цифрово виключені, тож агресивне закриття каналів перетворює «заощадження» на шкоду доступу (див. цифрову інклюзію та заощадження від зміщення каналів). Сам 14-пунктовий стандарт — специфікація процесу за цими числами — див. стандарт цифрових послуг щодо стандарту повністю та метрики задоволеності громадян щодо того, як число задоволеності тут стосується ширшого вимірювання довіри.

Пастки

  • Охоплення, отримане закриттям альтернативного каналу: закриття телефонної лінії арифметично піднімає відсоток цифрового охоплення, скидаючи попит від збоїв на будь-який канал, що залишився (часто дорожчий шлях з цифровою допомогою чи особистий); завжди вимірюйте вартість усієї системи, а не саме співвідношення.
  • Вимірювання рівня завершення з другого кроку воронки: початок підрахунку «розпочатих» після першої справжньої точки відсіву прикрашає рівень завершення й приховує найбільшу виправну втрату.
  • Вартість на транзакцію без підтримки з цифровою допомогою: одинична вартість лише цифрового каналу, що ігнорує час персоналу, витрачений на допомогу користувачам, які не можуть обслуговувати себе самі, занижує справжню вартість каналу.
  • Публікація метрик без спільного визначення між послугами: «транзакція» і «завершена» означають різні речі в різних командах послуг, якщо визначення не стандартизовані й не версіоновані, що робить порівняння між послугами ненадійним.

Джерела