Тема 64 из 64· Связь с разработкой программного обеспечения и цифровым предоставлением услуг
Производительность ИИ в государственном секторе
Метрики того, что ИИ-помощники для написания кода на самом деле дают инженерным командам — доля принятых предложений, ускорение по контролируемым исследованиям, пропускная способность по пул-реквестам и удержание кода в итоговой версии, — уже сами по себе опираются на противоречивую доказательную базу, ещё до добавления ограничений государственного сектора: классификация данных ограничивает, к каким частям устаревшей ИТ-архитектуры инструмент ИИ вообще может обращаться, циклы закупок означают, что оцениваемый инструмент часто отстаёт на поколение модели от текущих возможностей, а требования допуска к секретности определяют, кто и для чего может его использовать.
Почему это важно
Два наиболее цитируемых контролируемых исследования указывают в противоположных направлениях. Рандомизированное контролируемое исследование Пэна и др. (2023) по GitHub Copilot показало, что разработчики выполняли задачу написания HTTP-сервера «с нуля» на 55,8% быстрее с Copilot (1ч11м против 2ч41м, n=95). Рандомизированное контролируемое исследование METR 2025 года показало, что опытные разработчики open-source, работающие над собственными зрелыми репозиториями, были на 19% медленнее с инструментами ИИ начала 2025 года, при этом полагая, что работают примерно на 20% быстрее. Оба исследования корректны; само противоречие и есть находка — эффективность на задачах «с нуля» не переносится на эффективность работы со зрелой кодовой базой, а значительная часть государственной разработки — это именно работа со зрелой кодовой базой в архитектурах, которые старше и своеобразнее, чем медианный коммерческий репозиторий. Рамочная программа генеративного ИИ для государственного управления Центрального управления по цифровым технологиям и данным (CDDO, 2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) устанавливает принципы ответственного внедрения именно потому, что эту доказательную базу нельзя просто позаимствовать из демонстраций поставщиков; от ведомств ожидается оценка инструментов на соответствие собственным требованиям к обработке данных и безопасности до развёртывания.
Математика
Acceptance rate = accepted suggestions / shown suggestions
Retention rate = AI code surviving to merge / accepted AI code
Speedup = (t_control − t_AI) / t_control (from controlled comparison ONLY)
Throughput delta = Δ merged PRs/dev/week
Public-sector coverage factor:
eligible codebase share = LOC on systems where the classification
(OFFICIAL, OFFICIAL-SENSITIVE, SECRET) permits the tool at all
Value model = devs × eligible-coverage × time saved × loaded rate × utilization
— every term needs local measurement, and the coverage factor
has no private-sector equivalent
Практический пример
Государственное ведомство тестирует ИИ-помощник для написания кода на 300 разработчиках, но использование инструмента разрешено только в системах с классификацией OFFICIAL — 70% архитектуры по численности персонала, при этом оставшиеся 30% (системы с более высокой классификацией) полностью исключены.
Eligible developers = 300 × 0.70 = 210
Pilot result: self-reported time saved 40 min/day;
measured task-level saving 12 min/day (0.2h)
— the METR perception gap, reproduced in the wild
Value the MEASURED number:
210 × 0.2h × 220 days × £55/hr loaded × 0.6 utilization
= 210 × 44 hours × £55 × 0.6
= 9,240 hours × £55 × 0.6 ≈ £304,920/year capacity
Cost: 210 licensed seats × £22/month × 12 ≈ £55,440/year
Net capacity ratio ≈ 304,920 / 55,440 ≈ 5.5:1
Финансово оправдано примерно на треть от заявленной по самоотчёту выгоды, и только после применения ограничения по классификации — лицензирование всех 300 разработчиков на основании цифры из самоотчёта завысило бы и охватываемую популяцию, и реальную экономию.
Связь с разработкой программного обеспечения
Дисциплины, переносимые напрямую: проводите прагматичные испытания на собственной кодовой базе ведомства и реальных задачах, а не на демонстрационных задачах поставщика, поскольку результат METR — это находка именно для зрелой кодовой базы; относитесь к доле принятых предложений как к косвенному показателю, а не к результату — высокая доля принятия при низком удержании является программным эквивалентом гипердиагностики; сопровождайте каждое заявление о пропускной способности проверкой стабильности, поскольку отчёт DORA за 2025 год показал, что внедрение ИИ повышает пропускную способность, но ухудшает стабильность изменений, — это ровно тот анализ чистой выгоды, для которого созданы метрики DORA для общественной ценности; и честно признавайте, что инструменты ИИ могут не сокращать, а расширять разрыв на архитектурах, отягощённых техническим долгом, поскольку обучающие данные слабо представляют COBOL, языки 4-го поколения и заказной мейнфрейм-код, обычные для государственного сектора, так что качество подсказок оказывается наиболее слабым именно на тех системах, которым нужна наибольшая помощь. Это стоит рядом с более широким вопросом ИИ и ценности для государства и должно регулироваться теми же ограничениями ценности кибербезопасности в государственном секторе, которые определяют, где какому-либо стороннему инструменту вообще разрешено видеть код или данные.
Подводные камни
- Перенос результатов исследований поставщика: применение ускорений из RCT на задачах «с нуля» к работе по интеграции с legacy-системами — именно та ошибка, которую вскрыло исследование METR.
- Самоотчёт как измерение: разрыв в 20 процентных пунктов между восприятием и измеренным результатом — крупнейшее известное смещение в этой литературе, и оно завышает бизнес-кейсы, опирающиеся только на опросы разработчиков.
- Игнорирование ограничения по классификации: модели лицензирования и ценности, построенные на общей численности персонала, а не на допущенном по классификации подмножестве, систематически завышают и экономическую эффективность, и достижимый охват.
- Задержка цикла закупок: закупка инструментов по рамочным соглашениям может означать, что пилот оценивает поколение модели, отстающее на 12–18 месяцев от того, что публично доступно к моменту полного развёртывания, из-за чего исходное предположение об ускорении в бизнес-кейсе устаревает ещё до запуска.
Источники
- Peng S, et al., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot", 2023. https://arxiv.org/abs/2302.06590
- METR, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", 2025. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
- DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/
- Central Digital and Data Office, Generative AI Framework for HMG, 2024. https://www.gov.uk/government/publications/generative-ai-framework-for-hmg