주제 30 / 64· 정부의 성과와 전달 지표
시민 만족도 지표
시민 만족도 지표는 사람들이 공공서비스에 대한 직접적인 경험을 어떻게 평가하는지를 측정한다——일반적인 제도에 대한 신뢰와는 구별되며, 서비스가 실제로 좋은 성과를 달성했는지와도 구별된다. 서비스는 인기 있으면서 효과가 없을 수도 있고, 효과적이면서 인기가 없을 수도 있다. 이 둘 사이의 간극 자체가 전달팀이 주시해야 할 진단 정보다.
중요한 이유
만족도는 일상적으로 혼동되는 두 개의 서로 다른 고도에서 측정된다. 서비스 수준에서는, 영국의 현재 은퇴한 Performance Platform과 오늘날의 GOV.UK 서비스 매뉴얼이 서비스별 만족도 설문조사(전형적으로 거래 시점에서 실시되는 5점 "매우 만족"에서 "매우 불만족" 척도)를 네 가지 필수 서비스 KPI 중 하나로 요구한다——서비스 표준과 거래 지표 참조. 제도적 수준에서는, 영국 Civil Service People Survey가 모든 중앙정부 부처에 걸쳐 매년 직원 참여도와 경험을 측정하며, 별도로 OECD의 "Trust in Government" 프로그램이 회원국 전역에서 국가 정부에 대한 대중 신뢰를 조사하며, 위기(2008년 금융위기와 COVID-19 팬데믹 모두 OECD 신뢰 수치에 급격하고 눈에 보이는 움직임을 만들었다)에 크게 형성된 장기적인 하락과 회복 패턴을 추적한다. 시민 대면 서비스를 구축하는 엔지니어가 만족도와 성과를 분리해서 유지해야 하는 이유는 서비스 설계에서 알려진 실패 모드다. 아름답게 설계되고 사용하기 쉬운 급여 청구 디지털 양식은 매우 높은 만족도 점수를 받을 수 있지만, 근본적인 정책——자격 규칙, 처리 적체, 지급 금액——은 청구인을 더 낫게 만들지 않는다. 만족도는 인터페이스를 측정하며; 그것은 그 뒤에서 전달된 가치를 측정하지 않는다.
계산식
순만족도 = % 만족(또는 매우 만족) − % 불만족(또는 매우
불만족)
(중립/의견없음 응답은 두 항 모두에서 제외되지만,
각 백분율을 계산하기 위한 응답 모집단에는 포함됨)
만족도-성과 격차 = 만족도 점수 − 성과 달성 점수
(둘 다 0~100으로 정규화됨; 큰 양의 격차는
"느낌은 좋지만" 실질적으로 미달하는 서비스를
시사)
신뢰 지수(OECD 방식) = "[국가 정부]에 대한 신뢰가 있습니까?"에
"예"라고 답한 설문조사 응답자의 비율, 시간에 따른
시계열로 추적되며, 전형적으로 나이, 소득, 교육으로
세분화됨
계산 예시
지방자치단체 재산세 전자청구서 서비스: 성공적인 거래 시점의 만족도 설문조사가 2,400명의 응답자를 보여준다: 1,650명 만족/매우 만족, 250명 불만족/매우 불만족, 500명 중립.
순만족도 = (1,650/2,400 × 100) − (250/2,400 × 100)
= 68.75% − 10.42%
= +58.3 순만족도
단독으로 보면 강력해 보인다. 그러나 이 설문조사는 거래를 성공적으로 완료한 이용자에게만 표시된다——알려진 측정 편향(아래 함정 참조). 서비스 표준과 거래 지표의 완료율 지표와 짝을 이루면 완료율이 71%에 불과함을 보여주며, 이는 다음을 의미한다:
여정을 포기한 29%에 대해서는 실제 모집단 만족도가 측정되지
않았다——포기 자체가 설문조사가 결코 포착하지 못하는 강력한
부정적 신호이므로, 이들은 그럴듯하게 가장 불만족스러운
코호트다.
전국 수준 예시(OECD 방식 신뢰 시계열의 구조): 국가 정부 신뢰가 1년차에 42%로 보고되고, (위기의 해인) 2년차에 34%로 하락하며, 3년차에 39%로 회복된다——이는 주요 위기 이후 OECD가 회원국 전역에서 문서화하는 충격과 부분적 회복 패턴의 전형적인 궤적이다.
소프트웨어 개발과의 연관성
성공적인 완료 시점뿐만 아니라 사용자 여정의 모든 의미 있는 이탈 지점에서 만족도 설문조사를 계측할 것——이는 이 분야에서 가장 흔한 단일 엔지니어링 실수이며, 만족도 지표를 조용히 생존자 편향된 허영 지표로 바꾸는 실수다. 가능하면, 팀이 완료율이 조용히 하락하는 동안 상승하는 만족도를 축하할 수 없도록 만족도 점수를 같은 대시보드에서 완료율이나 성과 지표와 짝지을 것(애초에 누가 디지털 만족도 표본추출에서 제외되는지는 취임당 비용과 디지털 포용성을 참조——비디지털 및 지원 디지털 이용자는 서비스 내 설문조사에서 체계적으로 과소 대표된다). 만족도와 신뢰 데이터는 또한 무어의 전략적 삼각형의 정당성 축에 직접 공급되며, 공공 가치 스코어카드의 "고객"과 "정당성" 관점에 속한다——이 서비스 수준 지표에 대한 제도적 수준의 대응물은 신뢰와 정당성 지표를 참조.
함정
- 완료 시점 설문조사에서의 생존자 편향: 여정을 포기하는 이용자는 설문조사를 결코 보지 못하므로, 높은 서비스 내 만족도 점수는 낮은 완료율과 크고 보이지 않는 불만족스러운 미완료자 모집단과 공존할 수 있다.
- 만족도를 성과의 대리지표로 취급하는 것: 잘못 설계된 정책을 위한 잘 설계된 인터페이스는 만족도에서는 높은 점수를, 성과에서는 낮은 점수를 받는다——항상 둘 다 보고하고, 결코 하나를 다른 것의 대체물로 삼지 말 것.
- 거짓 정밀도로 보고되는 작고 비대표적인 표본: 자기선택된 수백 명의 응답자로부터의 만족도 점수를 소수점 첫째 자리까지 보고하는 것은 그 표본 크기가 뒷받침할 수 없는 신뢰도를 암시한다.
- 인구통계학적 세분화를 무시하는 것: 나이, 소득, 장애, 또는 디지털 접근성으로 세분화되지 않은 전국 신뢰 및 만족도 수치는 집단 간의 크게 다른 경험을 가릴 수 있다——OECD 자체의 Trust in Government 발표가 명시적으로 세분화하는 패턴이다.
출처
- OECD, "Trust in Government." https://www.oecd.org/en/topics/trust-in-government.html
- UK Cabinet Office, "Civil Service People Survey" results. https://www.gov.uk/government/collections/civil-service-people-survey-results
- GOV.UK Service Manual, "Measuring Success." https://www.gov.uk/service-manual/measuring-success