Тема 58 из 64· Связь с разработкой программного обеспечения и цифровым предоставлением услуг

Метрики DORA для общественной ценности

Метрики DORA (DevOps Research and Assessment) — частота развёртываний, время выполнения изменений, доля неудачных изменений и время восстановления услуги, плюс надёжность как пятый показатель, — наиболее валидированные в индустрии программного обеспечения ориентиры производительности реализации. Переведённые в термины подотчётности государственного сектора, каждая из них — прямой косвенный показатель того, насколько быстро и насколько безопасно общественная ценность доходит до гражданина.

Почему это важно

Десятилетие исследований DORA, публикуемых ежегодно как Accelerate State of DevOps Report (методология Форсгрен, Хамбла и Кима, теперь проводимая Google Cloud), группирует команды на элитные, высокоэффективные, среднеэффективные и низкоэффективные. Элитные команды развёртывают по требованию, тратят менее суток от коммита до промышленной эксплуатации, у них доля неудачных изменений около 5%, и они восстанавливаются менее чем за час; низкоэффективные команды развёртывают раз в месяц или реже, тратят месяцы, доля неудачных изменений около 40%, и восстановление занимает недели. В государственном секторе это не тщеславные инженерные показатели: Service Standard Государственной цифровой службы (GDS) требует от команд «часто повторять итерации и совершенствоваться» и уметь быстро реагировать на потребности пользователей, а ведомства, неспособные развёртывать безопасно и часто, структурно не в состоянии соответствовать этому стандарту, что бы ни показывали их исследования пользователей. Собственная работа кабинета министров по цифровой эффективности показала, что перенаправление гражданина из неудавшейся или медленной цифровой транзакции в телефонный или бумажный канал обходится дорого — Digital Efficiency Report GDS 2012 года оценил, что некоторые цифровые транзакции стоят всего 20 пенсов против телефонных или очных контактов стоимостью до 8,62 £, — поэтому неудачное изменение в обращённой к гражданам услуге не просто стоит инженерного времени, оно толкает реальные фунты в бюджет колл-центра (см. экономию от смены каналов).

Математика

Deployment frequency  = production deployments / time
Lead time for changes = t(deploy) − t(commit), median
Change failure rate   = failed changes / total changes × 100
Time to restore (MTTR) = t(restored) − t(failure), median
Reliability            = SLO attainment (availability, latency, correctness)

Перевод в термины общественной ценности:

Lead time      → weeks in the pipeline × CoD, see cost-of-delay-in-public-programmes
Failure rate   → citizen-facing incident rate: CFR × cost per redirected
                 contact-centre call (or per failed statutory transaction)
Recovery time  → service outage harm: MTTR × (claims/applications blocked
                 per hour) × downstream cost or wellbeing loss per unit
Reliability    → benefit discount: a service at 99% availability delivers
                 ≈ 0.99 of its modelled benefit — the delivery analogue
                 of take-up or compliance shortfall

Практический пример

Команда портала заявлений на пособия органа местного самоуправления, до и после инвестиций в инженерию реализации:

                    Before      After
Deploys             monthly     weekly
Lead time           8 weeks     5 days
CFR                 30%         10%
MTTR                3 days      4 hours

Команда выпускает около 25 улучшений в год, средняя ценность 8000 £/неделя (стоимость задержки). Сокращение времени выполнения примерно на 7,3 недели приближает поток выгод каждого улучшения: 25 × 7,3 × 8000 ≈ 1 460 000 £/год ценности, доставленной раньше. По доле неудачных изменений: 25 × (0,30 − 0,10) = на 5 неудачных изменений меньше в год; каждое неудачное изменение на общедоступном портале обычно перенаправляет примерно 2000 граждан в телефонный канал по 8,62 £ вместо 20 пенсов, чистая стоимость примерно 8,42 £ × 2000 ≈ 16 840 £ на инцидент, поэтому избежание 5 инцидентов экономит ≈ 84 200 £/год. Инвестиции в инженерию реализации оцениваются в той же валюте, что и любой другой кейс общественной ценности.

Продолжение практического примера: надёжность

Если портал работает с доступностью 97% вместо целевых 99,5%, и каждый процентный пункт простоя моделируется как 2% заявлений, потерянных из-за отказа от завершения, услуга доставляет примерно 0,975 от своей смоделированной выгоды в 2 млн £/год — скидка на выгоду в 50 000 £/год, которую чистая панель времени безотказной работы никогда не выявляет.

Связь с разработкой программного обеспечения

Метрики DORA — это операционные метрики государственной услуги в другой одежде: время выполнения соответствует стандартам услуг и метрикам транзакций; доля неудачных изменений соответствует показателям переделки и жалоб; MTTR соответствует тому, как долго обязательная услуга недоступна для заявителей. Методы улучшения переносятся в обоих направлениях, потому что обе системы являются системами очередей в условиях ограничений подотчётности — см. метрики потока в государственной реализации о лежащей в основе математике очередей. Обратите также внимание на вывод DORA 2025 года о том, что внедрение ИИ коррелирует с более высокой пропускной способностью, но худшей стабильностью — вмешательство с одновременно эффективностью и побочными эффектами, что как раз и есть тот анализ чистой выгоды, который разбирает тема этой книги производительность ИИ.

Подводные камни

  • Манипуляция метриками: раздувание числа развёртываний пустыми релизами или исключение горячих исправлений из подсчёта неудачных изменений. Определяйте события так же точно, как установленный законом стандарт услуги определяет «успешную транзакцию».
  • Межведомственные таблицы лидеров: кластеры DORA сравнивают практики реализации, а не услуги с разными профилями риска; система платежей по налогам, оценённая как «высокоэффективная», может быть правильной позицией там, где «элитная» была бы безрассудной с учётом требований к обеспечению качества.
  • Оптимизация только одной метрики: скорость без учёта доли неудачных изменений — классический компромисс между пропускной способностью и стабильностью; отчитывайтесь по всем четырём показателям вместе, а не единым баллом.

Источники

  • DORA research and the annual Accelerate State of DevOps Report. https://dora.dev/
  • Forsgren N, Humble J, Kim G, Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  • Cabinet Office, Digital Efficiency Report, 2012.
  • DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/