Тема 64 із 64· Програмна інженерія та цифрове надання
Продуктивність ШІ в публічному секторі
Метрики того, що ШІ-допомога в програмуванні насправді робить з інженерним результатом — рівні прийняття пропозицій, прискорення в контрольованих дослідженнях, пропускна здатність PR і утримання коду — мають справді суперечливу доказову базу ще до додавання обмежень публічного сектору: класифікація даних обмежує, до яких частин застарілого господарства інструмент ШІ взагалі може торкатися, цикли закупівель означають, що інструмент, який оцінюється, нерідко на покоління моделі відстає від сучасних можливостей, а вимоги допуску безпеки регулюють, хто може ним користуватися і для чого.
Чому це важливо
Два найцитованіші контрольовані дослідження вказують у протилежних напрямках. RCT GitHub Copilot Пена та ін. 2023 року виявило, що розробники виконали завдання з нуля — HTTP-сервер — на 55,8% швидше з Copilot (1 год 11 хв проти 2 год 41 хв, n=95). RCT METR 2025 року виявило, що досвідчені розробники відкритого коду, які працюють над власними зрілими репозиторіями, були на 19% повільнішими з інструментами ШІ початку 2025 року, вважаючи при цьому, що вони приблизно на 20% швидші. Обидва дослідження обґрунтовані; суперечність — це і є висновок: ефективність на завданнях з нуля не переноситься на ефективність у зрілій кодовій базі, а значна частина урядової інженерії — робота у зрілій кодовій базі на господарствах, старіших та своєрідніших за медіанний комерційний репозиторій. Generative AI Framework for HMG від Central Digital and Data Office (2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) встановлює принципи відповідального впровадження саме тому, що цю доказову базу не можна просто імпортувати з демонстрацій вендорів; від департаментів очікують оцінювання інструментів відносно власних вимог обробки даних і безпеки до розгортання.
Математика
Рівень прийняття = прийняті пропозиції / показані пропозиції
Рівень утримання = код ШІ, що дожив до злиття / прийнятий код ШІ
Прискорення = (t_контроль − t_ШІ) / t_контроль (ЛИШЕ з контрольованого порівняння)
Дельта пропускної здатності = Δ злитих PR/розробник/тиждень
Коефіцієнт покриття публічного сектору:
частка придатної кодової бази = LOC у системах, де класифікація
(OFFICIAL, OFFICIAL-SENSITIVE, SECRET) взагалі дозволяє інструмент
Модель цінності = розробники × придатне покриття × заощаджений час × навантажена ставка × використання
— кожен доданок потребує локального вимірювання, а коефіцієнт покриття
не має еквівалента в приватному секторі
Робочий приклад
Урядовий департамент пілотує ШІ-асистента для програмування на 300 розробниках, але лише системи, класифіковані як OFFICIAL, придатні для використання інструменту — 70% господарства за розподілом штату, а решта 30% (системи вищої класифікації) виключені повністю.
Придатні розробники = 300 × 0,70 = 210
Результат пілота: самозвітований заощаджений час 40 хв/день;
виміряне заощадження на рівні завдань 12 хв/день (0,2 год)
— розрив сприйняття METR, відтворений у реальних умовах
Оцінюємо ВИМІРЯНЕ число:
210 × 0,2 год × 220 днів × 55 £/год навантажена × 0,6 використання
= 210 × 44 години × 55 £ × 0,6
= 9240 годин × 55 £ × 0,6 ≈ 304 920 £/рік спроможності
Вартість: 210 ліцензованих місць × 22 £/місяць × 12 ≈ 55 440 £/рік
Чисте співвідношення спроможності ≈ 304 920 / 55 440 ≈ 5,5:1
Фінансовано приблизно на третину самозвітованої вигоди, і лише після застосування стелі класифікації — ліцензування всіх 300 розробників на підставі самозвітованої цифри перебільшило б і придатну популяцію, і справжнє заощадження.
Зв'язок з програмною інженерією
Дисципліни, що переносяться безпосередньо: проводьте прагматичні випробування на власній кодовій базі департаменту та реальних заявках, а не на демонстраційних завданнях вендорів, бо результат METR — саме висновок про зрілу кодову базу; ставтеся до рівня прийняття як до замінника, а не результату — високе прийняття з низьким утриманням є програмним еквівалентом гіпердіагностики; поєднуйте кожне твердження про пропускну здатність з перевіркою стабільності, бо звіт DORA 2025 року виявив, що впровадження ШІ піднімає пропускну здатність, але погіршує стабільність змін, — саме той аналіз чистої вигоди, на запуск якого створено метрики DORA для публічної цінності; і чесно визнайте, що інструменти ШІ можуть розширювати, а не звужувати розрив на застарілих господарствах, обтяжених технічним боргом, бо навчальні дані недопредставляють COBOL, 4GL та індивідуальний код мейнфреймів, поширений в уряді, тож якість пропозицій саме на системах, що найбільше потребують допомоги, нерідко найслабша. Це стоїть поряд із ширшим питанням цінності ШІ в уряді і має регулюватися тими самими обмеженнями цінності кібербезпеки публічного сектору, що обмежують, де будь-який сторонній інструмент взагалі може бачити код чи дані.
Пастки
- Трансплантація досліджень вендорів: застосування прискорень RCT на завданнях з нуля до роботи з інтеграції застарілих систем — саме та помилка, яку викрило дослідження METR.
- Самозвіт як вимірювання: розрив у 20 відсоткових пунктів між сприйняттям і виміряним — найбільше відоме викривлення в цій літературі, і воно роздуває бізнес-кейси, що покладаються лише на опитування розробників.
- Ігнорування стелі класифікації: моделі ліцензування й цінності, побудовані на загальній чисельності, а не на придатній, допущеній за класифікацією підмножині, системно перебільшують і витратоефективність, і досяжне покриття.
- Відставання циклу закупівель: закупівля інструментів через рамки може означати, що пілот оцінює покоління моделі, яке на 12–18 місяців відстає від публічно доступного на момент повного розгортання, роблячи припущення про прискорення в первісному бізнес-кейсі застарілим ще до запуску.
Джерела
- Peng S, et al., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot", 2023. https://arxiv.org/abs/2302.06590
- METR, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", 2025. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
- DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/
- Central Digital and Data Office, Generative AI Framework for HMG, 2024. https://www.gov.uk/government/publications/generative-ai-framework-for-hmg