주제 33 / 64· 사회 부문과 자선사업 지표
성과당 비용
성과당 비용은 총프로그램 지출을 단순히 어떤 서비스를 받은 사람 수가 아니라 자신의 상황에서 정의되고 의미 있는 변화를 달성한 사람 수로 나눈 것이다. 이는 자금제공자나 전달팀이 사용할 수 있는 가장 날카로운 효율성 지표다. 왜냐하면 그것이 대부분의 자선단체가 피하는 선행 질문——정확히 무엇이 성공으로 간주되는가——을 강제하기 때문이다.
중요한 이유
푸드뱅크는 같은 해의 회계에서 두 개의 매우 다른 숫자를 보고할 수 있다. 배포된 식료품 소포 하나당 비용은 15파운드일 수 있다. 더 이상 긴급 식량 지원이 필요 없는——후속 조치 시점에 검증된——가구당 비용은 340파운드일 수 있다. 둘 다 참이다. 그러나 자금이 효과가 있는지를 자금제공자에게 말해주는 것은 오직 하나뿐이다. 이 둘 사이의 간극은 산출물과 성과 사이의 간극이다. 전달된 식료품 소포는 산출물이고, 더 이상 위기에 처하지 않은 가구는 성과다. 성과와 산출물 참조.
영국의 제3부문은 이 구별을 강제하는 인프라를 구축하는 데 20년을 보냈다. New Philanthropy Capital의 자선단체 효과성에 대한 "네 개 기둥 접근법"은 조직들이 산출물보다 성과를 먼저 진술할 것을 명시적으로 요구하며, 영국의 자금제공자가 지원하는 임팩트 측정 협력체인 Inspiring Impact는 이제 많은 보조금 신청에서 자선단체가 작성하도록 요구하는 Outcomes Matrix를 발표한다. Heriot-Watt University와 함께 운영되는 Trussell Trust의 연간 "State of Hunger" 연구 프로그램은, 정확히 소포 수만으로는 사람들이 식량 불안에서 벗어났는지에 대해 아무것도 말해주지 않는다는 이유로 존재한다.
성과당 비용은 반사실이 고정된 후에야 의미가 있다——"어쨌든" 달성된 성과는 프로그램이 산 성과가 아니다. 반사실 분석과 displacement-and-attribution 참조.
계산식
성과당 비용 = 총프로그램 비용 / 정의된 성과를 달성한 수혜자 수
여기서:
총프로그램 비용 = 직접 전달 비용 + 공정하게 배분된 간접비
정의된 성과 = 사전 명시된, 측정 가능한 상태 변화
(예: "6개월 후속 조치 시점에 식량이
안전함", "식료품 소포를 받음"이 아님)
특정 성과당 비용이 비교 가능한 개입에 대비하여 좋은지, 평균인지, 나쁜지를 판단하기 위해 단위 비용 데이터베이스(예: 부문별 단위 비용 벤치마크)와 비교할 것.
계산 예시
푸드뱅크, 1년간:
- 총프로그램 비용: £450,000
- 배포된 소포 수: 30,000
- 소포당 비용(산출물 지표): £450,000 / 30,000 = £15
이 자선단체는 또한 가구 표본을 대상으로 6개월 후속 설문조사를 실시하며, 3개 이상의 소포를 받은 가구의 35%가 더 이상 긴급 식량 지원이 필요하지 않다고 보고하고 표준 식량 안보 설문조사 항목에서 기준선 이상의 점수를 기록함을 발견한다. 그 해에 소포를 3개 이상 받은 1,800가구 중 630가구가 그 성과를 달성한다.
성과당 비용 = £450,000 / 630 = 식량 안보를 달성한 가구당 £714
그 £714 수치가 이 자선단체를 현금 이전 파일럿이나 부채 상담 서비스와 비교하는 자금제공자가 사용해야 하는 것이지, £15가 아니다. 같은 지역의 비교 가능한 현금 이전 프로그램이 가구당 £500로 식량 안보를 달성한다면, 이 푸드뱅크는 소포당 비용이 저렴해 보이더라도 같은 성과에 대한 명백히 더 효율적인 경로가 아니다.
소프트웨어 개발과의 연관성
대부분의 케이스 관리 시스템은 산출물을 기록하기 위해 구축된다. 왜냐하면 산출물은 거래 내부에서 일어나는 것(소포가 전달됨, 양식이 제출됨)이기 때문이다. 성과는 보통 나중에, 흔히 시스템의 정상적인 포착 창 밖에서 일어나므로, 의도적인 설계 결정을 필요로 한다: 후속 조치 메커니즘(설문조사 트리거, 재연락 워크플로, 데이터 연계 작업)을 연차 보고서를 위해 덧붙인 것이 아니라 제1급 기능으로 구축하는 것이다. 이 부문을 위한 보조금 관리나 케이스 관리 플랫폼을 구축하는 엔지니어는 "성과 이벤트는 무엇이며, 그것을 어떻게 관찰하는가"를 데이터 모델이 고정되기 전에 물어야 하는 요구사항 질문으로 취급해야 한다——산출물 카운터보다 성과 필드를 나중에 추가하는 것이 훨씬 더 어렵다. 그 요구사항 대화를 구조화하는 방법은 성과와 산출물과 로직 모델을, 성과 추적이 아직 구축되지 않았을 때 팀이 의존하는 더 빠르고 조잡한 지표는 수혜자당 비용을 참조.
함정
- 산출물을 성과로 꾸며 보고하는 것. "도달한 사람"은 "도움받은 사람"이 아니다. 지표가 후속 접촉 없이 시스템 로그만으로 생산될 수 있다면, 그것은 거의 확실히 산출물이다.
- 분모 조작. 성과 모집단을 "프로그램을 완료한 사람들"로 좁히는 것은 조용히 이탈한 사람들——흔히 가장 어려운 사례——을 제외하고 겉보기 달성률을 부풀린다. 분모는 완료한 사람이 아니라 시작한 모든 사람으로 명시할 것.
- 반사실이 없는 것. 어쨌든 달성했을 사람들을 포함해 그 성과를 달성한 모든 사람을 세는 것은 프로그램이 산 것을 과대평가한다. 반사실 분석 참조.
- 호환되지 않는 성과 정의를 가로질러 비교하는 것. 검증된 설문조사 항목으로 측정된 "식량 안전"은 만족도 양식에서 자기보고된 "식량 안전"과 비교할 수 없다. 성과당 비용 리그 테이블은 성과 정의가 일치할 때에만 정직하다.
출처
- New Philanthropy Capital (NPC), "Four Pillar Approach" to charity effectiveness. https://www.thinknpc.org/resource-hub/four-pillar-approach/
- Inspiring Impact, Outcomes Matrix and impact measurement resources. https://inspiringimpact.org/
- Trussell Trust and Heriot-Watt University, "State of Hunger" research programme. https://www.trusselltrust.org/state-of-hunger/
- GiveWell, "Our criteria" (cost-effectiveness as the leading criterion for charity recommendation). https://www.givewell.org/how-we-work/our-criteria