주제 20 / 64· 사회적 가치와 임팩트 측정

성과와 산출물

산출물은 활동의 직접적이고 셀 수 있는 산물이다——그것이 어떤 효과를 가지든 관계없이, 전달이 일어나는 순간 존재한다. 성과는 관련된 사람, 장소, 또는 시스템에 뒤따르는 변화다. "500명이 구직 워크숍에 참석했다"는 산출물이다. 이는 그들 중 아무도 일자리를 찾지 못하더라도 참이다. "500명의 취업 전망이 개선되었다"는 성과 주장이며, 이는 단순히 참석의 증거가 아니라 변화의 증거를 필요로 한다——이 혼동은 이 부문에서 거의 다른 어떤 측정 실수보다 더 많은 오해의 소지가 있는 보조금 보고서를 생산한다.

중요한 이유

HM Treasury의 Magenta Book과 National Lottery Community Fund와 같은 자금제공자들 모두 성과 보고를 요구하는데, 이는 정확히 산출물이 프로그램이 기본적으로 보고하는 것이기 때문이다. 그것들은 세기 저렴하고, 항상 이용 가능하며, 항상 긍정적으로 보인다. 산출물 수는 프로그램이 실패한 결과로 문자 그대로 결코 내려갈 수 없다——더 많은 세션이 전달되는 것은 항상 "더 많음"이지만, 성과는 프로그램이 작동하지 않고 있음을 드러낼 수 있다. National Audit Office는 정부 프로그램이 활동 수준을 마치 성공의 증거인 것처럼 보고하는 것을 반복적으로 비판해왔다. 산출물만 쉽게 보고하게 만드는 소프트웨어 시스템은 이를 기본적으로 강화하는데, 산출물은 후속 데이터 수집을 필요로 하지 않지만 성과는 필요로 하기 때문이다.

계산식

공식은 없지만, 지표를 분류하는 신뢰할 수 있는 검증이 있다.

산출물 검증: 전달 시점에 셀 수 있으며, 수혜자가 영향받지 않아도
             참인가?
성과 검증:   의미가 있으려면 전후 또는 있음/없음 비교가
             필요한가?

숫자가 누구에게도 편익이 전혀 없이도 참일 수 있다면, 그것은
산출물이다.

이는 더 넓은 로직 모델 연쇄 안에 위치하며 변화의 이론에서 정의된 성과 연결고리에 의존한다. 성과를 돈으로 전환하는 것은 사회적 투자수익률의 방법을 사용한다.

계산 예시

지방자치단체(고용 지원): 산출물——500명이 구직 워크숍에 참석. 성과——12개월 후속 조치에서, 그 500명 중 140명(28%)이 지속적인 고용 상태(6개월 이상)다. 유사한 특성을 가지지만 프로그램 접근이 없는 비교 집단은 같은 기간 동안 15%의 기준선 고용률을 가진다. 순성과 상승: 28% − 15% = 13퍼센트포인트, 따라서 추정 500 × 0.13 = 65명이 그렇지 않았다면 일자리를 갖지 못했을 추가 취업자다——이는 500명의 참석 수치나 140명의 원시 고용 수치와도 구별되는 귀속 가능한 성과다.

자선단체(문해력 자선단체): 산출물——300명의 아동에게 1,200회의 읽기 세션이 전달됨. 성과——예상되는 6개월 자연적 진전 기준선 6개월에 대비하여, 6개월 기간 동안 평균 읽기 연령이 8개월 향상됨. 순성과 이득: 8 − 6 = 아동당 프로그램에 귀속될 수 있는 추가 2개월의 읽기 연령 향상이며, 전체 8개월 수치가 아니다.

소프트웨어 개발과의 연관성

이벤트 로그와 거래 시스템은 산출물을 거의 자동으로 계측한다——페이지 조회, 세션, 종료된 티켓, 예약된 약속——이는 그것들이 시스템이 자신의 일을 하는 것에 의해 생성되기 때문이다. 성과는 기준선이나 비교에 대해 나중 시점에 같은 개인을 포착하는 데이터 모델을 필요로 하며, 이는 의도적으로 설계되어야 한다. 후속 설문조사, 연계된 행정 기록, 또는 비교 코호트. 전자만 지원하는 보고 도구는 자금제공자가 무엇을 요청했든 관계없이 조직을 산출물만의 보고로 조용히 이끌 것이다. 성과가 설명책임 연쇄에서 어디에 위치하는지는 로직 모델을, 이 구별을 단위 비용 지표로 전환하는 것은 성과당 비용을, 지표 선택의 더 넓은 패턴은 공공 부문 KPI를 참조.

함정

  • 산출물을 마치 성과인 것처럼 보고하는 것. "500명이 참석했다"는 그것을 입증하지 않고도 편익을 암시한다. 참석을 명시적으로 산출물로 라벨링할 것.
  • 기준선이나 비교 집단이 없는 것. 반사실이 없는 성과 수치는——반사실 분석 참조——프로그램의 효과를 어쨌든 일어났을 일과 분리할 수 없다.
  • 자금 지원된 지표에 대해 최적화하는 것. 자금이 산출물 물량에 연결되면, 전달팀은 합리적으로 지속적인 변화보다 참석을 최대화하며, 이는 굿하트의 법칙 실패 모드다.
  • 성과 워싱. 배후에 어떤 후속 측정도 없이 산출물 지표를 성과처럼 들리는 언어로 재라벨링하는 것("참여 성과: 참석자 500명").

출처