주제 58 / 64· 소프트웨어 개발과 디지털 전달의 연관성

공공 가치를 위한 DORA 지표

DORA(DevOps Research and Assessment) 지표——배포 빈도, 변경 리드타임, 변경 실패율, 서비스 복구 시간, 그리고 다섯 번째로 신뢰성——는 소프트웨어 업계에서 가장 검증된 전달 성과 벤치마크다. 공공 부문 설명책임의 용어로 번역하면, 각각은 공공 가치가 시민에게 도달하는 속도와 안전성에 대한 직접적인 대리지표가 된다.

중요한 이유

매년 Accelerate State of DevOps Report(포스그렌, 험블, 킴의 방법론, 현재는 Google Cloud가 운영)로 발표되는 DORA의 10년에 걸친 연구는 팀을 엘리트, 상위, 중위, 하위 성과자로 군집화한다. 엘리트 팀은 요구에 따라 배포하고, 커밋부터 프로덕션까지 하루 미만이 걸리며, 대략 5%의 변경이 실패하고, 1시간 이내에 복구한다; 하위 성과자는 월 1회 또는 그 이하로 배포하고, 몇 달이 걸리며, 대략 40%의 변경이 실패하고, 복구에 몇 주가 걸린다. 정부에서 이것들은 엔지니어링상의 허영 지표가 아니다: Government Digital Service의 Service Standard는 팀이 "자주 반복하고 개선"하고 사용자 니즈에 신속하게 대응할 수 있을 것을 요구하며, 안전하고 자주 배포할 수 없는 부처는 사용자 연구가 무엇을 말하든 구조적으로 그 표준을 충족할 수 없다. Cabinet Office 자체의 디지털 효율성 작업은 실패했거나 느린 디지털 거래로부터 시민을 전화나 종이 채널로 밀어내는 것이 비싸다는 것을 발견했다——GDS의 2012년 Digital Efficiency Report는 일부 디지털 거래가 최대 £8.62가 드는 전화나 대면 접촉에 비해 20펜스만큼 저렴하다고 추정했다——따라서 시민 대면 서비스에서의 변경 실패는 엔지니어링 시간뿐만 아니라 실제 파운드를 콜센터 예산에 떠넘긴다(채널 이동 절감 참조).

계산식

배포 빈도       = 프로덕션 배포 수 / 시간
변경 리드타임   = t(배포) − t(커밋), 중앙값
변경 실패율     = 실패한 변경 / 총변경 × 100
복구까지의 시간 = t(복구됨) − t(실패), 중앙값
                (MTTR)
신뢰성         = SLO 달성(가용성, 지연시간, 정확성)

공공 가치로의 번역:

리드타임       → 파이프라인 내 주 수 × CoD,
                cost-of-delay-in-public-programmes 참조
실패율         → 시민 대면 인시던트율: 변경 실패율 × 전용된
                콜센터 통화당 비용(또는 실패한 법정 거래당
                비용)
복구시간       → 서비스 중단 피해: MTTR × (시간당 차단된
                청구/신청 수) × 단위당 하류 비용 또는 웰빙
                손실
신뢰성         → 편익 할인: 99% 가용성의 서비스는 모델화된
                편익의 대략 0.99를 전달한다——이용률이나
                컴플라이언스 부족의 전달 유사물

계산 예시

한 지방자치단체의 급여 청구 포털 팀, 전달 엔지니어링 투자 전후.

                    전          후
배포                월 1회      주 1회
리드타임            8주         5일
변경 실패율         30%        10%
MTTR                3일        4시간

이 팀은 연간 대략 25건의 개선을 출시하며, 평균 가치는 £8,000/주(지연 비용)다. 리드타임을 대략 7.3주 줄이는 것은 각 개선의 편익 흐름을 앞당긴다: 25 × 7.3 × 8,000 ≈ £1,460,000/년의 가치가 더 빨리 전달된다. 실패율에 대해——25 × (0.30 − 0.10) = 연간 5건 적은 실패한 변경; 공공 포털에서의 실패한 변경은 전형적으로 추정 2,000명의 시민을 £8.62 대 20펜스로 전화 채널로 리다이렉트하며, 순비용은 인시던트당 대략 £8.42×2,000 ≈ £16,840이다. 따라서 5건의 인시던트를 회피하는 것은 대략 £84,200/년을 절약한다. 전달 엔지니어링 투자는 다른 어떤 공공 가치 사례와도 같은 통화로 평가된다.

계산 예시 계속: 신뢰성

그 포털이 목표 99.5%가 아니라 97%의 가용성으로 운영되고, 다운타임의 각 백분율 포인트가 포기로 인한 2%의 청구 손실로 모델링되면, 그 서비스는 모델화된 연간 £200만 편익의 대략 0.975를 전달하고 있다——이는 순수한 가동시간 대시보드가 결코 표면화하지 않는 연간 £50,000의 편익 할인이다.

소프트웨어 개발과의 연관성

DORA 지표는 다른 옷을 입은 공공서비스의 운영 지표다: 리드타임은 서비스 표준과 거래 지표에 매핑된다; 변경 실패율은 재작업과 불만율에 매핑된다; MTTR은 법정 서비스가 청구인에게 얼마나 오래 이용 불가능한지에 매핑된다. 개선 기법은 양방향으로 전용될 수 있다. 왜냐하면 둘 다 설명책임 제약 하의 대기 시스템이기 때문이다——근본적인 대기 이론 수학은 정부 전달의 플로우 지표를 참조. 또한 AI 채택이 더 높은 처리량과 상관관계가 있지만 안정성을 악화시킨다는 DORA의 2025년 발견에 주목할 것——이는 유효성과 부작용을 모두 가진 개입이며, 이는 정확히 이 챕터의 AI 생산성 주제가 다루는 순편익 분석이다.

함정

  • 지표 조작: 무연산 릴리스로 배포 수를 부풀리거나, 핫픽스를 변경 실패 수에서 제외하는 것. 법정 서비스 표준이 "성공적인 거래"를 정의하는 것만큼 정밀하게 이벤트를 정의할 것.
  • 부처 간 리그 테이블: DORA 군집은 다른 위험 프로파일을 가진 서비스가 아니라 전달 관행을 비교한다; 세금 납부 시스템은 보증 요건을 고려할 때 "엘리트"가 무모할 곳에서 "상위" 등급이 올바른 자세일 수 있다.
  • 하나의 지표만 최적화하는 것: 변경 실패율 없는 속도는 고전적인 처리량-불안정성 트레이드오프다——단일 점수가 아니라 네 가지 모두를 함께 보고할 것.

출처

  • DORA research and the annual Accelerate State of DevOps Report. https://dora.dev/
  • Forsgren N, Humble J, Kim G, Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  • Cabinet Office, Digital Efficiency Report, 2012.
  • DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/