주제 25 / 64· 정부의 성과와 전달 지표

공공 부문 KPI

핵심성과지표(KPI)는 공공서비스가 제 역할을 잘하고 있는지를 대신하는, 선택되고 추적되는 척도다. 정부에서 KPI의 선택은 결코 중립적이지 않다. KPI가 예산, 리그 테이블, 경력에 부착되기 때문에, 하나를 선택하는 행위는 그것을 만든 정책보다 흔히 더 많이, 그 하류에 있는 모든 사람의 행동을 형성한다.

중요한 이유

찰스 굿하트의 1975년 통화 정책에 대한 관찰——나중에 매릴린 스트래선이 "측정이 목표가 되면, 그것은 더 이상 좋은 측정이 아니게 된다"로 대중화——은 공공 부문 성과 관리에서 가장 중요한 단일 경고 표지다. 묘사하기 위해 선택된 KPI는, 자원 배분, 급여, 또는 정치적 생존이 거기에 연결되는 순간 그 시스템을 왜곡하기 시작한다. 대표적인 예시는 NHS 구급차 대응 시간이다. 8분 Category A 대응 목표가 구속력을 가지게 되자, 일부 트러스트는 환자 성과를 변화시키지 않으면서 그 숫자를 맞추기 위해 대응시간 시계 바로 바깥에 구급차를 "쌓아두거나" 호출을 재분류한 것으로 밝혀졌다. 성과 지표를 선택하고 사용하는 것에 관한 영국 National Audit Office의 지침——그 바리류 포 머니 보고서와 "Performance Measurement by Regulators" 및 FABRIC(목적 적합, 적절, 균형, 견고, 통합, 비용 효율)을 올바르게 선택하는 틀 전반에 걸쳐 정해짐——은 정확히 부처가 조작하기 어려운 지표보다 보고하기 쉬운 지표를 계속 선택했기 때문에 존재한다. 장관이나 국장이 그것에 의해 평가받을 대시보드를 출시하는 소프트웨어 엔지니어는, 의도하든 하지 않든, 공공 기관의 인센티브 구조를 설계하고 있는 것이다.

계산식

KPI 설계는 틀 형태의 주제이지만, 후보 KPI의 평가는 공식이 아니라 반복 가능한 체크리스트다.

각 후보 KPI에 대해 다음을 채점한다:
  목적 적합    — 그것이 성과를 측정하는가, 아니면 몇 단계
                떨어진 대리지표를 측정하는가?
  적절         — 그것이 실제로 영향을 미칠 수 있는 사람들에게
                속하는가?
  균형         — 그것이 조작을 잡아내는 반대 지표와 짝을
                이루는가?
  견고         — 그것이 감사를 견딜 수 있는가, 아니면
                자기보고되고 검증 불가능한가?
  통합         — 그것이 더 넓은 세트에 맞는가, 아니면 다른
                KPI에 반발하는가?
  비용 효율    — 그것을 수집하는 것이 그것이 정보를 제공하는
                결정보다 더 많은 비용이 드는가?

선행 대 후행 분할:
  선행 지표  → 미래 성과를 예측하지만 흔히 조작 가능(예: 60초
              이내에 응답된 전화)
  후행 지표  → 성과가 일어났음을 확인하지만 조종하기에는 너무
              늦게 도착(예: 연간 만족도 조사)
  옹호 가능한 KPI 세트는 목표당 각각 적어도 하나씩 짝을 이룬다.

계산 예시

구급차 트러스트: 한 트러스트가 Category A(생명 위협) 대응시간 KPI를 "8분 이내에 응답된 전화의 75%"로 보고한다. 한 분기에 6,000건의 Category A 전화가 들어온다; 4,500건이 8분 이내에 응답되어, 75.0%를 부여한다——겉보기에 목표 달성.

헤드라인 KPI = 4,500 / 6,000 × 100 = 75.0%  (75% 기준선 충족)

그러나 굿하트 감사는 반대 지표를 추가한다: 가장 느린 10%의 전화에 대한 평균 대응시간.

가장 느린 십분위 평균 대응시간 = 34분(2년 전 19분에서 상승)

트러스트는 목표를 달성하고 있지만, 그 꼬리——트리아지가 불완전할 때 진정으로 생명을 위협할 가능성이 가장 높은 전화들——는 훨씬 나빠졌다. 왜냐하면 승무원들이 임상적 긴급성이 아니라 8분 절벽 끝에 가까운 전화 쪽으로 우선순위가 매겨지고 있기 때문이다. 단일 KPI는 거짓 이야기를 말했고, 짝을 이룬 KPI는 진실을 말했다.

소프트웨어 개발과의 연관성

정부를 위한 성과 대시보드를 구축하는 엔지니어는 기능적으로 조직의 인센티브 API를 설계하고 있다. 실무적 함의: 분자만큼 엄격하게 분모를 계측할 것(단순한 백분율로 보고되는 KPI는 분모 조작을 초래한다——디지털 서비스에서의 같은 함정에 대해서는 취임당 비용 참조); 아무도 읽지 않는 별도의 보고서가 아니라 같은 대시보드에 반대 지표를 구축하여 조작이 결정 시점에 눈에 보이도록 할 것; 그리고 KPI 정의의 버전을 관리할 것. 왜냐하면 무엇이 "전화", "케이스", 또는 "완료"로 간주되는지를 조용히 재정의하는 것은 기능적으로 발표 없이 목표를 바꾸는 것과 동등하기 때문이다. 공공 가치 스코어카드는 단일 KPI가 단독으로 읽히는 것을 막는 하나의 구조화된 방법이며, 성과 기반 설명책임은 단일 팀이 일방적으로 왜곡할 수 없는 인구 수준의 KPI를 선택하는 규율이다.

함정

  • 의미 있는 지표보다 수집하기 쉬운 지표를 선택하는 것: 전화 응답 시간을 기록하는 것은 사소하지만, 그 전화가 시민의 문제를 해결했는지는 그렇지 않다——그러나 오직 후자만이 성과다. 시스템이 이미 내보내는 것을 기본값으로 삼는 것을 거부할 것.
  • 반대 지표가 없는 것: 돈이나 평판에 부착된 어떤 KPI든 한계에서 조작될 것이다. 발표하기 전에 그럴듯한 조작 경로를 잡아내는 짝을 이룬 지표와 함께 출시할 것.
  • 변경 로그 없이 지표를 재정의하는 것: 추세를 좋게 보이게 하려고 "수신된 전화"를 "응답된 전화"로 바꾸는 것은 그것이 발견되는 순간 시계열의 신뢰성을 파괴한다——항상 숫자와 함께 정의 변경 로그를 발표할 것.
  • 활동을 결과와 혼동하는 것: 완료된 검사 수를 세는 것은 산출물이다; 준수하게 된 시설 수를 세는 것은 성과에 더 가깝다(성과와 산출물 참조).

출처

  • National Audit Office, "Choosing the Right FABRIC: A Framework for Performance Information." https://www.nao.org.uk/
  • Marilyn Strathern, "'Improving Ratings': Audit in the British University System," Social Anthropology, 1997 (formulation of Goodhart's law as commonly cited).
  • National Audit Office, investigations into NHS ambulance service performance reporting. https://www.nao.org.uk/