주제 48 / 64· 디지털 정부에서의 공공 가치
정부에서의 AI 가치
정부에서의 AI 가치는 공공서비스에서 사용되는 AI 시스템이 다른 모든 지출 결정과 같은 바리류 포 머니와 공공 가치 기준을 통과해야 한다는 요구사항이다——새롭다는 이유로 더 낮은 기준이 아니고, 두렵다는 이유로 더 높은 기준도 아니다. 이는 AI 기능이 출시되기 전에——후가 아니라——전달팀이 답할 수 있어야 하는 질문이다: 보증, 감독, 위험이 정직하게 가격이 매겨졌을 때, 이것이 비용보다 더 많은 가치를 생산하는가?
중요한 이유
영국의 Central Digital and Data Office(CDDO)는 2023년 6월의 이전 임시 지침을 기반으로 2024년에 정부를 위한 생성형 AI 프레임워크를 발표했으며, 생성형 AI가 무엇인지, 그 윤리적 함의, 도구 보안, 품질 보증 통제, 전체 생성형 AI 라이프사이클 관리, 정당한 사용 사례 식별, 정부 전체의 협력, 투명성, 기술, 거버넌스를 다루는 10개의 원칙을 중심으로 구성했다. 이 프레임워크가 "의미 있는 인간 통제"와 전체 라이프사이클 관리를 강조하는 이유는, AI 프로젝트 비즈니스 케이스가 다른 IT 지출에는 없는 특정한 실패 모드를 가지기 때문이다: 파일럿의 헤드라인 생산성 숫자는 생산하기 쉽고 과장하기 쉽다. 왜냐하면 그것은 그 도구가 만들어내는 검증, 수정, 감독 부담이 계산되기 전에 측정되기 때문이다. 이 프레임워크와 함께, Algorithmic Transparency Recording Standard(ATRS)는 개인에 대한 결정에 상당한 영향을 미치는 알고리즘 도구에 대해 공공 기관이 표준화된 기록——목적, 사용된 데이터, 성능, 공정성 테스트, 인간 감독 체계——을 발표하도록 요구하며, 이는 AI 시스템의 보증 비용을 팀이 조용히 건너뛸 수 있는 내부 추정치가 아니라 공개 기록의 문제로 만든다.
계산식
AI 채택은 표준 바리류 포 머니 평가를 대체하는 것이 아니라 그것에 대한 추가로 평가되며, AI 고유의 항목은 단일 "생산성 이득" 숫자로 접히는 것이 아니라 명시된다.
AI 시스템의 순가치 =
생산성 이득(절약된 시간 × 부담이 포함된 직원 비용)
− 라이선스/컴퓨팅 비용
− 인간 검증 및 감독 비용(조치되기 전에 AI 출력을
확인하는 것——이는 성숙한 도구에서도 0으로 축소되지
않는다)
− ATRS 문서화와 지속적인 모니터링 비용
− 그 해를 누가 부담하는지에 따라 가중된, 오류, 편향,
또는 환각으로 인한 해의 위험 조정 비용
(distributional-weighting)
감독 항을 생략한 파일럿 생산성 수치는, 이미 동등한 인간
검토를 포함하는 평상시 운영 비용 기준선과 비교할 수 없다
——이 분야가 차용하는 더 완전한 생산성 측정 규율은
ai-productivity-in-the-public-sector를 참조.
계산 예시
일상적인 주민세 문의에 대한 첫 응답을 초안 작성하기 위해 생성형 AI 도구를 사용하는 지방자치단체: 연간 25,000건의 문의, 이전에는 케이스워커가 문의당 평균 14분으로 전적으로 처리했으며, 부담이 포함된 직원 비용 시간당 £34.
기준선(AI 없음) 비용:
25,000 × (14/60) × £34 = £198,333/년
파일럿 헤드라인 주장: AI가 90초 만에 응답을 초안 작성하고,
케이스워커는 "그냥 검토하고 보낸다"——주장된 새로운 시간은
3분
25,000 × (3/60) × £34 = £42,500/년
→ 주장된 절감 £155,833/년(변혁적으로 보임)
파일럿의 엄선된 테스트 사례가 아니라 3개월 라이브 이후에
측정된 완전 부담 수치:
응답당 실제 검토 + 수정 시간: 6분(초안은 복잡하거나
감정적으로 민감한 문의에 실질적인 편집이 필요함)
25,000 × (6/60) × £34 = £85,000/년
라이선스/컴퓨팅 비용: £38,000/년
ATRS 문서화와 분기별 편향/품질 모니터링: £14,000/년
총비용 = 85,000 + 38,000 + 14,000 = £137,000/년
실제 절감 = 198,333 − 137,000 = £61,333/년——진정하며
유지할 가치가 있지만, 파일럿의 헤드라인 주장의 절반에도
훨씬 못 미치며, 이를 찾으려면 파일럿의 최선의 경우가 아니라
정직한 감독 시간 측정이 필요했다.
소프트웨어 개발과의 연관성
이것이 공공 부문의 AI 생산성과 이 주제가 만나는 지점이다——공공서비스에 AI 기능을 구축하는 엔지니어링 팀은 파일럿의 데모 조건을 신뢰하는 대신, 계산 예시의 "실제" 수치를 가능하게 만드는 계측——실제 검토 시간, 초안과 전송된 응답 사이의 편집 거리, 에스컬레이션 비율을 기록하는 것——을 소유한다. AI 기능은 디지털서비스표준 9번 항목(안전한 서비스, 이용자 프라이버시)에 비추어 평가되어야 하며, 그 도구가 시민 데이터에 닿는 경우 공공 부문 사이버보안 가치와 상호 참조되어야 한다. 그리고 개인에 대한 결정에 상당한 영향을 미치는 모든 AI 시스템은, 인간이 기술적으로 승인하더라도, 서비스가 디지털서비스표준 평가를 통과해야 라이브가 될 수 있는 것과 같은 방식으로, 평가 준비 상태로 간주되기 전에 ATRS 기록을 필요로 한다.
함정
- AI 워싱: AI 채택을 위해 확보된 자금이나 관심에 접근하기 위해, 그 프레임워크의 추가적인 정밀조사를 실제로 정당화하는 정확도나 편향 위험 없이, 기존의 규칙 기반 자동화를 "AI"로 재라벨링하는 것.
- 프로덕션 생산성이 아니라 파일럿 생산성을 측정하는 것: 파일럿은 참여도가 높고 주의 깊은 검토자와 함께 엄선된 테스트 사례로 실행된다. 프로덕션은 시간이 지남에 따라 자동화 편향을 발달시키고 출력을 충분히 확인하지 않는 검토자와 함께 전체의 혼란스러운 케이스 조합으로 실행된다——둘 다 정직한 감독 비용 수치를 왜곡한다.
- 도구가 "진짜 자동화된 의사결정이 아니다"라는 이유로 ATRS 등록을 건너뛰는 것: 이 표준의 기준선은 개인에 대한 결정에 대한 상당한 영향이며, 인간이 기술적으로 승인하더라도 대부분의 시민 대면 AI 초안 작성이나 심사 도구는 이를 충족한다.
- 오류의 분배적 영향을 무시하는 것: 모든 이용자에 걸쳐 평균화된 AI 시스템의 오류율은 특정 집단에 대해 훨씬 더 높은 오류율이나 편향률을 숨길 수 있다. 분배적 가중치는 집계된 정확도 수치뿐만 아니라 위험 조정된 해의 항에도 적용되어야 한다.
출처
- Central Digital and Data Office, Generative AI Framework for Government (2024). https://www.gov.uk/government/publications/generative-ai-framework-for-hmg
- Algorithmic Transparency Recording Standard. https://www.gov.uk/government/collections/algorithmic-transparency-recording-standard-hub
- HM Treasury, Green Book: central government guidance on appraisal and evaluation. https://www.gov.uk/government/publications/the-green-book-appraisal-and-evaluation-in-central-governent