주제 27 / 64· 정부의 성과와 전달 지표
성과 기반 설명책임 (OBA)
결과 기반 설명책임(RBA)이라고도 불리는 성과 기반 설명책임은, 마크 프리드먼이 공공 부문 보고가 습관적으로 뒤섞는 두 가지 질문——"인구가 잘 지내고 있는가?"(인구 설명책임)와 "이 특정 프로그램이 잘하고 있는가?"(성과 설명책임)——을 분리하는 틀이다. 프리드먼의 설명에 따르면, 이 둘을 혼동하는 것은 잘 운영되는 프로그램이 그것이 움직일 힘을 전혀 가진 적 없는 인구 추세에 대해 비난받는 가장 흔한 단일 이유다.
중요한 이유
프리드먼은 『Trying Hard Is Not Good Enough』(2005년)에서 이 틀을 제시하며, 대부분의 공공 보고가 어떤 단일 기관도 통제하지 못하는 인구 수준 통계(십대 임신율, 실업률, 기대수명)에 의사결정자를 익사시키거나, 누구의 삶이 개선되었는지에 대해서는 아무것도 말하지 않는 프로그램 수준의 활동 수(만난 고객, 이루어진 의뢰)에 그들을 익사시킨다고 주장했다. RBA의 기여는 이 둘을 분리하는 작고 규율 있는 어휘다. 인구 결과(전체 인구의 복지 조건, 예를 들어 "아동은 건강하게 태어난다")는 어떤 단일 기관에도 속하지 않으며 함께 움직이는 많은 파트너를 필요로 한다; 성과 측정(특정 프로그램이 특정 고객에게 얼마나 잘 서비스를 제공하는지)은 하나의 기관에 속하며 그 기관이 실제로 영향을 미칠 수 있는 것에 대해서만 평가되어야 한다. 프리드먼의 "세 가지 성과 질문"——우리가 얼마나 많이 했는가, 얼마나 잘 했는가, 그리고 누군가의 삶이 나아졌는가?——는 이제 미국의 주와 카운티의 인적서비스 계약 전반에 내장되어 있으며, RBA에 맞춘 컨설팅 및 도구인 Clear Impact를 통해 영국과 영연방의 지방정부 위탁에서 널리 사용된다. 실무적인 이해관계는 계약적이다. 주택 프로그램은 그것이 미치는 범위 밖의 거시경제적 원인으로 도시의 노숙자율이 상승했다는 이유로 자금 지원이 끊겨서는 안 되지만, 자체 고객들이 주거를 제공받지 못하고 있다면 확실히 자금 지원이 끊겨야 한다.
계산식
인구 설명책임(공동체, 지역, 국가가 공유하는 "큰 그림"):
결과 — 복지 조건(예: "주민들은 경제적으로 안정되어
있다")
지표 — 그 조건의 측정(예: 실업률, 중위 가구 소득)
→ 어떤 단일 프로그램도 그 지표를 소유하지 않는다; 움직임은
많은 기여자를 필요로 한다
성과 설명책임(하나의 프로그램이 책임지는 것):
얼마나 많이 했는가? — 활동량(서비스를 받은 고객,
전달된 단위)
얼마나 잘 했는가? — 품질/효율성(프로그램 완료율,
고객당 비용)
누군가의 삶이 나아졌는가? — 중요한 성과(프로그램 6개월 후
고용 비율, 전후 또는 비교 집단
대비)
프로그램은, 그 규모와 설계가 그럴듯하게 단독으로 인구 지표를
움직일 수 있는 경우가 아니라면, 결코 인구 지표에 직접 대해서가
아니라 세 번째 성과 질문에 대해 평가된다.
계산 예시
도시 자금 지원 고용 지원 프로그램, 연간 500명의 참여자, RBA 방식의 성과 틀 하에서 지방자치단체가 계약.
인구 지표(맥락, 프로그램의 스코어카드가 아님):
도시 실업률: 6.2%(프로그램이 통제할 수 없는 공장 폐쇄로
인해 전년도 5.8%에서 상승)
성과 측정(프로그램의 실제 설명책임):
얼마나 많이: 500명 등록(목표 480명)— 달성
얼마나 잘: 완료율 78%; 완료자당 비용 = £340,000 / 390명
완료자 ≈ £872
나아졌는가: 390명의 완료자 중, 매칭된 비교 집단의 41%에
대비하여 6개월 시점에 260명이 지속적인
고용상태 = 66.7%(counterfactual-analysis
참조)
인구 설명책임의 관점에서는, 프로그램이 실패하고 있는 것처럼 보인다——그것이 담당하는 동안 도시의 실업률이 상승했다. RBA의 성과 설명책임 관점에서는, 프로그램이 성공하고 있다. 그것은 물량 목표를 달성했고, 품질을 안정적으로 유지했으며, 인구 지표가 프로그램의 통제를 완전히 벗어난 이유(공장 폐쇄)로 움직이는 동안 매칭된 비교 집단보다 25.7퍼센트포인트 높은 고용 성과를 생산했다.
소프트웨어 개발과의 연관성
RBA는 친숙한 SRE 구별에 직접 매핑된다. 인구 지표는 어떤 단일 엔지니어링 팀도 처음부터 끝까지 소유하지 않는 비즈니스 수준의 노스스타 지표(회사 수익, 시장 점유율)와 같으며, 성과 측정은 그 팀 자체의 SLO——그 팀의 설계 결정이 실제로 움직이는 것——와 같다. 어느 것이 어느 것인지 라벨링하지 않고 둘 다 보고하는 대시보드는 정확히 RBA가 방지하기 위해 만들어진 오귀속을 초래한다. 온콜 엔지니어가 의존성 팀이 통제하는 지표에 대해 비난받는 것과 같다. 성과 계약을 위한 보고 도구를 위탁하거나 구축할 때, "얼마나 많이/얼마나 잘/나아졌는가"라는 삼위일체를 단일 혼합 KPI가 아니라 제1급의 별도로 필터링 가능한 필드로 구축할 것——이는 공공 부문 KPI에서 선행 지표와 후행 지표를 분리하는 것과 같은 규율이다. RBA는 또한 성과연동지불과 사회성과연계채권의 배후에 있는 설명책임 논리이기도 하다. PbR 계약은, 그 개입이 진정으로 그것의 지배적인 동인이 아닌 한, 인구 지표가 아니라 오직 "나아졌는가"라는 성과 측정에 대해서만 공정하게 지불할 수 있다.
함정
- 프로그램이 통제할 수 없는 인구 지표에 대해 지불하거나 처벌하는 것: 이는 RBA가 방지하기 위해 존재하는 단 하나의 실수다. 결과에 대한 책임을 부여하기 전에 항상 프로그램이 인구 결과의 주요 기여자인지 부차적 기여자인지 추적할 것.
- "얼마나 많이"를 마치 "나아졌는가"인 것처럼 보고하는 것: 활동 수(만난 고객)는 수집하기 가장 쉽고 정보가 가장 적은 데이터다. "누군가의 삶이 나아졌는가"라는 질문이 이상적으로는 반사실에 대비한(반사실 분석 참조) 실제 성과 데이터로 답해질 것을 고집할 것.
- RBA 지표를 영원히 고정된 것으로 취급하는 것: 프리드먼의 방법은 명시적으로 반복적이다——일회성 스코어카드 설계 연습이 아니라 "데이터, 이야기, 무엇이 작동하는지, 실행 계획"의 순환이다.
- "나아졌는가"에 대한 비교 집단이 없는 것: 반사실 없는 전후 변화는 프로그램의 효과를 인구가 어쨌든 보였을 추세와 혼동한다.
출처
- Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities, Trafford Publishing, 2005.
- Clear Impact, "What is Results-Based Accountability?" https://clearimpact.com/results-based-accountability/