Тема 64 из 64· Связь с разработкой программного обеспечения и цифровым предоставлением услуг

Производительность ИИ в государственном секторе

Метрики того, что ИИ-помощники для написания кода на самом деле дают инженерным командам — доля принятых предложений, ускорение по контролируемым исследованиям, пропускная способность по пул-реквестам и удержание кода в итоговой версии, — уже сами по себе опираются на противоречивую доказательную базу, ещё до добавления ограничений государственного сектора: классификация данных ограничивает, к каким частям устаревшей ИТ-архитектуры инструмент ИИ вообще может обращаться, циклы закупок означают, что оцениваемый инструмент часто отстаёт на поколение модели от текущих возможностей, а требования допуска к секретности определяют, кто и для чего может его использовать.

Почему это важно

Два наиболее цитируемых контролируемых исследования указывают в противоположных направлениях. Рандомизированное контролируемое исследование Пэна и др. (2023) по GitHub Copilot показало, что разработчики выполняли задачу написания HTTP-сервера «с нуля» на 55,8% быстрее с Copilot (1ч11м против 2ч41м, n=95). Рандомизированное контролируемое исследование METR 2025 года показало, что опытные разработчики open-source, работающие над собственными зрелыми репозиториями, были на 19% медленнее с инструментами ИИ начала 2025 года, при этом полагая, что работают примерно на 20% быстрее. Оба исследования корректны; само противоречие и есть находка — эффективность на задачах «с нуля» не переносится на эффективность работы со зрелой кодовой базой, а значительная часть государственной разработки — это именно работа со зрелой кодовой базой в архитектурах, которые старше и своеобразнее, чем медианный коммерческий репозиторий. Рамочная программа генеративного ИИ для государственного управления Центрального управления по цифровым технологиям и данным (CDDO, 2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) устанавливает принципы ответственного внедрения именно потому, что эту доказательную базу нельзя просто позаимствовать из демонстраций поставщиков; от ведомств ожидается оценка инструментов на соответствие собственным требованиям к обработке данных и безопасности до развёртывания.

Математика

Acceptance rate  = accepted suggestions / shown suggestions
Retention rate   = AI code surviving to merge / accepted AI code
Speedup          = (t_control − t_AI) / t_control  (from controlled comparison ONLY)
Throughput delta = Δ merged PRs/dev/week

Public-sector coverage factor:
  eligible codebase share = LOC on systems where the classification
    (OFFICIAL, OFFICIAL-SENSITIVE, SECRET) permits the tool at all

Value model = devs × eligible-coverage × time saved × loaded rate × utilization
             — every term needs local measurement, and the coverage factor
             has no private-sector equivalent

Практический пример

Государственное ведомство тестирует ИИ-помощник для написания кода на 300 разработчиках, но использование инструмента разрешено только в системах с классификацией OFFICIAL — 70% архитектуры по численности персонала, при этом оставшиеся 30% (системы с более высокой классификацией) полностью исключены.

Eligible developers = 300 × 0.70 = 210

Pilot result: self-reported time saved 40 min/day;
              measured task-level saving 12 min/day (0.2h)
              — the METR perception gap, reproduced in the wild

Value the MEASURED number:
  210 × 0.2h × 220 days × £55/hr loaded × 0.6 utilization
  = 210 × 44 hours × £55 × 0.6
  = 9,240 hours × £55 × 0.6 ≈ £304,920/year capacity

Cost: 210 licensed seats × £22/month × 12 ≈ £55,440/year

Net capacity ratio ≈ 304,920 / 55,440 ≈ 5.5:1

Финансово оправдано примерно на треть от заявленной по самоотчёту выгоды, и только после применения ограничения по классификации — лицензирование всех 300 разработчиков на основании цифры из самоотчёта завысило бы и охватываемую популяцию, и реальную экономию.

Связь с разработкой программного обеспечения

Дисциплины, переносимые напрямую: проводите прагматичные испытания на собственной кодовой базе ведомства и реальных задачах, а не на демонстрационных задачах поставщика, поскольку результат METR — это находка именно для зрелой кодовой базы; относитесь к доле принятых предложений как к косвенному показателю, а не к результату — высокая доля принятия при низком удержании является программным эквивалентом гипердиагностики; сопровождайте каждое заявление о пропускной способности проверкой стабильности, поскольку отчёт DORA за 2025 год показал, что внедрение ИИ повышает пропускную способность, но ухудшает стабильность изменений, — это ровно тот анализ чистой выгоды, для которого созданы метрики DORA для общественной ценности; и честно признавайте, что инструменты ИИ могут не сокращать, а расширять разрыв на архитектурах, отягощённых техническим долгом, поскольку обучающие данные слабо представляют COBOL, языки 4-го поколения и заказной мейнфрейм-код, обычные для государственного сектора, так что качество подсказок оказывается наиболее слабым именно на тех системах, которым нужна наибольшая помощь. Это стоит рядом с более широким вопросом ИИ и ценности для государства и должно регулироваться теми же ограничениями ценности кибербезопасности в государственном секторе, которые определяют, где какому-либо стороннему инструменту вообще разрешено видеть код или данные.

Подводные камни

  • Перенос результатов исследований поставщика: применение ускорений из RCT на задачах «с нуля» к работе по интеграции с legacy-системами — именно та ошибка, которую вскрыло исследование METR.
  • Самоотчёт как измерение: разрыв в 20 процентных пунктов между восприятием и измеренным результатом — крупнейшее известное смещение в этой литературе, и оно завышает бизнес-кейсы, опирающиеся только на опросы разработчиков.
  • Игнорирование ограничения по классификации: модели лицензирования и ценности, построенные на общей численности персонала, а не на допущенном по классификации подмножестве, систематически завышают и экономическую эффективность, и достижимый охват.
  • Задержка цикла закупок: закупка инструментов по рамочным соглашениям может означать, что пилот оценивает поколение модели, отстающее на 12–18 месяцев от того, что публично доступно к моменту полного развёртывания, из-за чего исходное предположение об ускорении в бизнес-кейсе устаревает ещё до запуска.

Источники