Тема 64 із 64· Програмна інженерія та цифрове надання

Продуктивність ШІ в публічному секторі

Метрики того, що ШІ-допомога в програмуванні насправді робить з інженерним результатом — рівні прийняття пропозицій, прискорення в контрольованих дослідженнях, пропускна здатність PR і утримання коду — мають справді суперечливу доказову базу ще до додавання обмежень публічного сектору: класифікація даних обмежує, до яких частин застарілого господарства інструмент ШІ взагалі може торкатися, цикли закупівель означають, що інструмент, який оцінюється, нерідко на покоління моделі відстає від сучасних можливостей, а вимоги допуску безпеки регулюють, хто може ним користуватися і для чого.

Чому це важливо

Два найцитованіші контрольовані дослідження вказують у протилежних напрямках. RCT GitHub Copilot Пена та ін. 2023 року виявило, що розробники виконали завдання з нуля — HTTP-сервер — на 55,8% швидше з Copilot (1 год 11 хв проти 2 год 41 хв, n=95). RCT METR 2025 року виявило, що досвідчені розробники відкритого коду, які працюють над власними зрілими репозиторіями, були на 19% повільнішими з інструментами ШІ початку 2025 року, вважаючи при цьому, що вони приблизно на 20% швидші. Обидва дослідження обґрунтовані; суперечність — це і є висновок: ефективність на завданнях з нуля не переноситься на ефективність у зрілій кодовій базі, а значна частина урядової інженерії — робота у зрілій кодовій базі на господарствах, старіших та своєрідніших за медіанний комерційний репозиторій. Generative AI Framework for HMG від Central Digital and Data Office (2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) встановлює принципи відповідального впровадження саме тому, що цю доказову базу не можна просто імпортувати з демонстрацій вендорів; від департаментів очікують оцінювання інструментів відносно власних вимог обробки даних і безпеки до розгортання.

Математика

Рівень прийняття  = прийняті пропозиції / показані пропозиції
Рівень утримання  = код ШІ, що дожив до злиття / прийнятий код ШІ
Прискорення       = (t_контроль − t_ШІ) / t_контроль  (ЛИШЕ з контрольованого порівняння)
Дельта пропускної здатності = Δ злитих PR/розробник/тиждень

Коефіцієнт покриття публічного сектору:
  частка придатної кодової бази = LOC у системах, де класифікація
    (OFFICIAL, OFFICIAL-SENSITIVE, SECRET) взагалі дозволяє інструмент

Модель цінності = розробники × придатне покриття × заощаджений час × навантажена ставка × використання
             — кожен доданок потребує локального вимірювання, а коефіцієнт покриття
             не має еквівалента в приватному секторі

Робочий приклад

Урядовий департамент пілотує ШІ-асистента для програмування на 300 розробниках, але лише системи, класифіковані як OFFICIAL, придатні для використання інструменту — 70% господарства за розподілом штату, а решта 30% (системи вищої класифікації) виключені повністю.

Придатні розробники = 300 × 0,70 = 210

Результат пілота: самозвітований заощаджений час 40 хв/день;
                  виміряне заощадження на рівні завдань 12 хв/день (0,2 год)
                  — розрив сприйняття METR, відтворений у реальних умовах

Оцінюємо ВИМІРЯНЕ число:
  210 × 0,2 год × 220 днів × 55 £/год навантажена × 0,6 використання
  = 210 × 44 години × 55 £ × 0,6
  = 9240 годин × 55 £ × 0,6 ≈ 304 920 £/рік спроможності

Вартість: 210 ліцензованих місць × 22 £/місяць × 12 ≈ 55 440 £/рік

Чисте співвідношення спроможності ≈ 304 920 / 55 440 ≈ 5,5:1

Фінансовано приблизно на третину самозвітованої вигоди, і лише після застосування стелі класифікації — ліцензування всіх 300 розробників на підставі самозвітованої цифри перебільшило б і придатну популяцію, і справжнє заощадження.

Зв'язок з програмною інженерією

Дисципліни, що переносяться безпосередньо: проводьте прагматичні випробування на власній кодовій базі департаменту та реальних заявках, а не на демонстраційних завданнях вендорів, бо результат METR — саме висновок про зрілу кодову базу; ставтеся до рівня прийняття як до замінника, а не результату — високе прийняття з низьким утриманням є програмним еквівалентом гіпердіагностики; поєднуйте кожне твердження про пропускну здатність з перевіркою стабільності, бо звіт DORA 2025 року виявив, що впровадження ШІ піднімає пропускну здатність, але погіршує стабільність змін, — саме той аналіз чистої вигоди, на запуск якого створено метрики DORA для публічної цінності; і чесно визнайте, що інструменти ШІ можуть розширювати, а не звужувати розрив на застарілих господарствах, обтяжених технічним боргом, бо навчальні дані недопредставляють COBOL, 4GL та індивідуальний код мейнфреймів, поширений в уряді, тож якість пропозицій саме на системах, що найбільше потребують допомоги, нерідко найслабша. Це стоїть поряд із ширшим питанням цінності ШІ в уряді і має регулюватися тими самими обмеженнями цінності кібербезпеки публічного сектору, що обмежують, де будь-який сторонній інструмент взагалі може бачити код чи дані.

Пастки

  • Трансплантація досліджень вендорів: застосування прискорень RCT на завданнях з нуля до роботи з інтеграції застарілих систем — саме та помилка, яку викрило дослідження METR.
  • Самозвіт як вимірювання: розрив у 20 відсоткових пунктів між сприйняттям і виміряним — найбільше відоме викривлення в цій літературі, і воно роздуває бізнес-кейси, що покладаються лише на опитування розробників.
  • Ігнорування стелі класифікації: моделі ліцензування й цінності, побудовані на загальній чисельності, а не на придатній, допущеній за класифікацією підмножині, системно перебільшують і витратоефективність, і досяжне покриття.
  • Відставання циклу закупівель: закупівля інструментів через рамки може означати, що пілот оцінює покоління моделі, яке на 12–18 місяців відстає від публічно доступного на момент повного розгортання, роблячи припущення про прискорення в первісному бізнес-кейсі застарілим ще до запуску.

Джерела