주제 64 / 64· 소프트웨어 개발과 디지털 전달의 연관성
공공 부문의 AI 생산성
AI 코딩 지원이 엔지니어링 산출물에 실제로 무엇을 하는지에 대한 지표——제안 수락률, 통제된 연구 속도 향상, PR 처리량, 코드 유지율——는, 공공 부문의 제약이 더해지기도 전부터 진정으로 모순된 증거 기반을 지닌다: 데이터 분류는 AI 도구가 애초에 레거시 자산의 어느 부분을 건드릴 수 있는지를 제한하고, 조달 사이클은 평가 대상 도구가 흔히 현재 능력보다 한 모델 세대 뒤처진 것을 의미하며, 보안 취급인가 요건은 누가 무엇에 그것을 사용할 수 있는지를 규율한다.
중요한 이유
가장 많이 인용되는 두 개의 통제된 연구는 정반대 방향을 가리킨다. Peng 등의 2023년 GitHub Copilot RCT는 개발자들이 Copilot으로 그린필드 HTTP 서버 작업을 55.8% 더 빠르게 완료했음을 발견했다(1시간11분 대 2시간41분, n=95). METR의 2025년 RCT는 자신의 성숙한 저장소에서 작업하는 경험 많은 오픈소스 개발자들이 2025년 초의 AI 도구로 19% 더 느렸다는 것을 발견했다. 그들은 그러면서도 자신이 대략 20% 더 빠르다고 믿었다. 두 연구 모두 건전하다; 그 모순 자체가 발견이다——그린필드 작업의 효능은 성숙한 코드베이스의 효과성으로 이어지지 않으며, 정부 엔지니어링의 많은 부분은 중앙값 상업적 저장소보다 더 오래되고 더 특이한 자산에서의 성숙한 코드베이스 작업이다. Central Digital and Data Office의 Generative AI Framework for HMG(2024년, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg)는 책임 있는 채택을 위한 원칙을 정하는데, 이는 정확히 이 증거 기반이 벤더 데모로부터 단순히 수입될 수 없기 때문이다; 부처들은 전면 배포 전에 자신의 데이터 취급 및 보안 요건에 비추어 도구를 평가할 것으로 기대된다.
계산식
수락률 = 수락된 제안 / 표시된 제안
유지율 = 병합까지 살아남은 AI 코드 / 수락된 AI 코드
속도향상 = (t_통제군 − t_AI) / t_통제군
(오직 통제된 비교로부터)
처리량 델타 = Δ 병합된 PR/개발자/주
공공 부문 적용범위 계수:
대상 코드베이스 비율 = 분류(OFFICIAL, OFFICIAL-SENSITIVE,
SECRET)가 애초에 그 도구를 허용하는 시스템의 코드 줄 수
가치 모델 = 개발자 수 × 적용범위 × 절약된 시간 × 부담률
× 활용률
— 모든 항이 로컬 측정을 필요로 하며, 적용범위
계수는 민간 부문에 상응하는 것이 없다
계산 예시
한 정부 부처가 300명의 개발자에 걸쳐 AI 코딩 어시스턴트를 파일럿하지만, OFFICIAL로 분류된 시스템만이 도구 사용의 대상이다——인원수 배분으로 자산의 70%이며, 나머지 30%(더 높은 분류의 시스템)는 완전히 제외된다.
대상 개발자 = 300 × 0.70 = 210
파일럿 결과: 자기보고된 절약 시간 40분/일;
측정된 작업 수준 절약 12분/일(0.2시간)
——METR의 인식 격차가 실전에서 재현됨
측정된 숫자를 평가하기:
210 × 0.2시간 × 220일 × £55/시간(부담 포함) × 0.6활용률
= 210 × 44시간 × £55 × 0.6
= 9,240시간 × £55 × 0.6 ≈ £304,920/년의 용량
비용: 라이선스된 210석 × £22/월 × 12 ≈ £55,440/년
순용량비율 ≈ 304,920 / 55,440 ≈ 5.5:1
자기보고된 편익의 대략 3분의 1로 자금을 지원할 수 있으며, 그것도 분류 상한이 적용된 후에만 그렇다——자기보고된 수치의 강도에 기반해 300명의 개발자 모두에게 라이선스를 부여했다면 대상 인구와 진정한 절약 둘 다를 과대평가했을 것이다.
소프트웨어 개발과의 연관성
직접 전용되는 규율들: 벤더 데모 작업이 아니라 부처 자체의 코드베이스와 실제 티켓으로 실용적인 시험을 실행할 것. 왜냐하면 METR의 결과는 특히 성숙한 코드베이스에 대한 발견이기 때문이다; 수락률을 성과가 아니라 대리지표로 취급할 것——낮은 유지율과 함께하는 높은 수락률은 과잉진단의 소프트웨어 유사물이다; 모든 처리량 주장을 안정성 확인과 짝지을 것. DORA의 2025년 보고서는 AI 채택이 처리량을 끌어올리지만 변경 안정성을 저하시킨다는 것을 발견했으며, 이는 정확히 공공 가치를 위한 DORA 지표가 실행하도록 구축된 순편익 분석이다; 그리고 AI 도구가 정부에 흔한 COBOL, 4세대 언어, 맞춤형 메인프레임 코드를 훈련 데이터가 과소 대표하기 때문에, 기술 부채가 많은 레거시 자산에서 그 격차를 좁히는 것이 아니라 넓힐 수 있다는 것을 정직하게 인정할 것——그리하여 가장 도움이 필요한 시스템에서 제안 품질이 흔히 가장 약하다. 이는 더 넓은 정부에서의 AI 가치 질문과 나란히 자리하며, 어떤 서드파티 도구든 애초에 어디서 코드나 데이터를 볼 수 있는지를 제한하는 같은 공공 부문 사이버보안 가치 제약에 의해 규율되어야 한다.
함정
- 벤더 연구 이식: 그린필드 RCT 속도 향상을 레거시 통합 작업에 적용하는 것은 정확히 METR 연구가 드러낸 오류다.
- 측정으로서의 자기보고: 20퍼센트포인트의 인식 대 측정 격차는 이 문헌에서 가장 큰 알려진 편향이며, 이는 오직 개발자 설문조사에만 의존하는 비즈니스 케이스를 부풀린다.
- 분류 상한을 무시하는 것: 대상이 되는, 분류가 정리된 부분집합이 아니라 총인원수에 기반해 구축된 라이선싱과 가치 모델은 체계적으로 비용효과성과 달성 가능한 적용범위 둘 다를 과대평가한다.
- 조달 사이클 지연: 프레임워크 기반 도구 조달은 파일럿이 전면 배포 시점까지 공개적으로 이용 가능한 것보다 12~18개월 뒤처진 모델 세대를 평가한다는 것을 의미할 수 있으며, 이는 원래 비즈니스 케이스의 속도 향상 가정을 출시 전에 오래되게 만든다.
출처
- Peng S, et al., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot", 2023. https://arxiv.org/abs/2302.06590
- METR, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", 2025. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
- DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/
- Central Digital and Data Office, Generative AI Framework for HMG, 2024. https://www.gov.uk/government/publications/generative-ai-framework-for-hmg