Тема 48 із 64· Публічна цінність у цифровому уряді

Цінність ШІ в уряді

Цінність ШІ в уряді — це вимога, щоб система ШІ, яку використовують у публічній послузі, проходила ту саму планку цінності за гроші та публічної цінності, що й будь-яке інше рішення про витрати, — не нижчу, бо вона нова, і не вищу, бо її бояться. Це питання, на яке команда надання повинна вміти відповісти до, а не після випуску функції ШІ: чи дає це більше цінності, ніж коштує, коли вартість гарантій, нагляду й ризику чесно враховано?

Чому це важливо

Британський Central Digital and Data Office (CDDO) 2024 року опублікував Generative AI Framework for Government, спираючись на ранні тимчасові настанови червня 2023 року, і структурував його навколо десяти принципів, що охоплюють те, чим є генеративний ШІ, його етичні наслідки, безпеку інструментів, контроль забезпечення якості, керування повним життєвим циклом генеративного ШІ, виявлення справжніх сценаріїв використання, міжурядову співпрацю, прозорість, навички та управління. Наполягання рамки на «змістовному людському контролі» й повному керуванні життєвим циклом існує тому, що бізнес-кейси проєктів ШІ мають специфічний режим відмови, якого немає в інших ІТ-витратах: заголовне число продуктивності пілота легко отримати й легко перебільшити, бо його вимірюють до обліку тягаря верифікації, виправлення та нагляду, який створює інструмент. Поряд із рамкою Algorithmic Transparency Recording Standard (ATRS) вимагає від публічних органів публікувати стандартизований запис — призначення, використані дані, результативність, тестування на справедливість, механізми людського нагляду — для алгоритмічних інструментів, що суттєво впливають на рішення щодо окремих осіб, що робить вартість гарантій системи ШІ предметом публічного запису, а не внутрішньою оцінкою, яку команда може тихо пропустити.

Математика

Впровадження ШІ оцінюється як доповнення до стандартної оцінки цінності за гроші, а не заміна, з явними специфічними для ШІ доданками, а не згорнутими в єдине число «приросту продуктивності»:

Чиста цінність системи ШІ =
    приріст продуктивності (заощаджений час × навантажена вартість персоналу)
  − вартість ліцензії/обчислень
  − вартість людської верифікації та нагляду (перевірка виходу ШІ до того,
    як за ним діють, — вона не зменшується до нуля навіть для зрілих інструментів)
  − вартість документації ATRS та постійного моніторингу
  − скоригована на ризик вартість шкоди від помилок, упередженості чи
    галюцинацій, зважена за тим, хто несе цю шкоду (розподільне зважування)

Число продуктивності пілота, що опускає доданок нагляду, не порівнянне
з базовою лінією вартості звичайної діяльності, яка вже включає
еквівалентну людську перевірку — див. ai-productivity-in-the-public-sector
щодо повнішої дисципліни вимірювання продуктивності, яку це запозичує.

Робочий приклад

Місцева влада використовує інструмент генеративного ШІ для чернеток перших відповідей на рутинні запити щодо муніципального податку: 25 000 запитів на рік, раніше повністю оброблялися працівниками в середньому 14 хвилин/запит, навантажена вартість персоналу 34 £/год.

Базова вартість (без ШІ):
  25 000 × (14/60) × 34 £ = 198 333 £/рік

Заголовне твердження пілота: ШІ складає відповідь за 90 секунд,
працівник «просто переглядає й надсилає» — заявлений новий час 3 хвилини
  25 000 × (3/60) × 34 £ = 42 500 £/рік
  → заявлене заощадження 155 833 £/рік (виглядає трансформаційно)

Повністю навантажена цифра, виміряна через 3 місяці в роботі, а не на
ретельно відібраних тестових випадках пілота:
  Фактичний час перегляду + виправлення на відповідь: 6 хвилин (чернетки
  потребують реального редагування для складних чи емоційно чутливих запитів)
  25 000 × (6/60) × 34 £ = 85 000 £/рік
  Вартість ліцензії/обчислень: 38 000 £/рік
  Документація ATRS та квартальний моніторинг упередженості/якості: 14 000 £/рік
  Загальна вартість = 85 000 + 38 000 + 14 000 = 137 000 £/рік

Реальне заощадження = 198 333 − 137 000 = 61 333 £/рік — справжнє й варте
збереження, але значно менше половини заголовного твердження пілота, і
для його виявлення знадобилося чесне вимірювання часу нагляду, а не
найкращий сценарій пілота.

Зв'язок з програмною інженерією

Тут продуктивність ШІ в публічному секторі та ця тема сходяться: інженерні команди, що вбудовують функції ШІ в публічні послуги, володіють оснащенням вимірюванням, яке робить можливою «реальну» цифру з робочого прикладу, — журналюванням фактичного часу перегляду, редакційної відстані між чернеткою та надісланою відповіддю й рівня ескалацій, замість довіри до демонстраційних умов пілота. Функції ШІ слід оцінювати за пунктом 9 стандарту цифрових послуг (безпечна послуга, приватність користувачів) і перехресно посилатися на цінність кібербезпеки публічного сектору, де інструмент торкається даних громадян, а будь-яка система ШІ з суттєвим впливом на рішення щодо окремих осіб потребує запису ATRS, перш ніж її можна вважати готовою до оцінки, так само як послузі потрібна пройдена оцінка стандарту цифрових послуг перед запуском.

Пастки

  • AI-washing: перейменування наявної автоматизації на основі правил на «ШІ» для доступу до фінансування чи уваги, призначених для впровадження ШІ, без ризиків точності чи упередженості, які насправді виправдовують додатковий контроль рамки.
  • Вимірювання продуктивності пілота, а не продуктивності в експлуатації: пілоти працюють на відібраних тестових випадках із залученими, уважними рецензентами; експлуатація — на всій строкатій суміші випадків із рецензентами, які з часом розвивають упередження автоматизації й недостатньо перевіряють виходи, — обидва спотворюють чесну цифру вартості нагляду.
  • Пропуск реєстрації ATRS, бо інструмент «не зовсім автоматизоване ухвалення рішень»: поріг стандарту — суттєвий вплив на рішення щодо окремої особи, якому відповідає більшість інструментів ШІ для чернеток чи сортування, зверненого до громадян, навіть коли людина формально підписує.
  • Ігнорування розподільного впливу помилок: рівень помилок системи ШІ, усереднений по всіх користувачах, може приховувати значно вищий рівень помилок чи упередженості для конкретних груп; розподільне зважування слід застосовувати до скоригованого на ризик доданка шкоди, а не лише до сукупної цифри точності.

Джерела