주제 6 / 64· 공공 가치의 기초
추가성과 사중손실
추가성은 개입이 그것 없이는 일어나지 않았을 성과를 유발했는지를 묻는다. 사중손실은 그 거울상이다——프로그램, 보조금, 또는 지원금 없이도 어쨌든 일어났을 성과의 몫이다. 정부 프로그램이나 자선단체의 거의 모든 임팩트 주장은 사중손실을 빼기 전까지는 그 효과를 과대평가한다. 이것이 영국의 평가 지침이 이를 모든 헤드라인 수치에 대한 첫 번째이자 가장 중요한 조정으로 취급하는 이유다.
중요한 이유
"우리는 500개 기업의 성장을 지원했다"는 성취처럼 들리지만, 그 기업 중 300개가 어쨌든 성장했을 것이라면——지역 경제가 회복 중이었기 때문에, 그들에게 다른 자금 경로가 있었기 때문에, 프로그램이 시작되기 전부터 이미 성장 궤도에 있었기 때문에——프로그램의 진정한 추가적 기여는 500이 아니라 200이다. HM Treasury의 Magenta Book과 (원래 지역 개발 및 재생 프로그램을 위해 개발되었고 이후 영국 정부 평가 전반에서 널리 사용되어 온) 오래된 HM Treasury/BIS "추가성 가이드"는 사중손실을 표준 순영향 산출 순서의 첫 번째 조정으로 공식화한다. 총효과에서 사중손실을 빼고, 대체효과를 빼고, 유출을 빼고, 승수효과를 조정하면 순추가적 영향이 된다. 이 단계를 건너뛰는 것은 공공 및 사회 부문의 임팩트 주장이 의도적이든 아니든 부풀려지는 가장 흔한 단일 방식이다——비교 집단 없이 참여자의 총성과만 측정하는 보조금 프로그램은 자신의 효과를 어쨌든 일어났을 일과 구별할 수 없다.
사중손실은 고정된 백분율이 아니다. 그것은 전적으로 특정 대상 집단과 개입의 반사실에 달려 있다(반사실 분석 참조). 이전 지역개발청 산하의 잉글랜드 지역개발 평가는 기업 지원 유형에 따라 20~60% 범위의 사중손실율을 흔히 발견했다. 이것이 신뢰할 수 있는 프로그램 평가가 단일한 가정 수치가 아니라 사중손실 조정 범위를 보고하는 이유이며, National Lottery Community Fund와 Big Society Capital과 같은 자금제공자들이 피지원 단체에게 총참여자 수를 보고하는 대신 성과 보고에서 사중손실을 명시적으로 다루도록 요구하는 이유다.
계산식
영국 평가 지침(Magenta Book, HM Treasury/BIS 추가성 가이드, ESIF 및 구조기금 평가 지침)에 제시된 표준 순영향 조정 순서:
총성과
− 사중손실 (개입 없이도 어쨌든 일어났을 것)
− 대체효과 (다른 곳에서 이동한 활동/편익, 새로 창출된
것이 아님——displacement-and-attribution 참조)
− 유출 (대상 집단/지역 밖으로 발생하는 편익)
× 승수 (양수인 경우, 추가적인 간접/유발 경제활동)
= 순추가적 영향
비율로서의 사중손실율:
사중손실율 = 개입 없이도 발생했을 성과
/ 관찰된 총성과
순추가 성과 = 총성과 × (1 − 사중손실율)
계산 예시
기업 지원 보조금 프로그램: 한 지역 보조금 제도가 500개의 지원받은 기업이 다음 해에 고용을 늘렸다고 보고하며, 평균 각 3개의 일자리——1,500개 일자리의 총 주장이다.
유사한 비지원 기업들로 구성된 매칭 비교 집단(반사실 분석 참조)은, 같은 기간 동안 매칭 집단이 어떻게 성과를 냈는지에 근거하여, 지원받은 기업의 고용 성장 중 40%가 어쨌든 일어났을 것임을 보여준다.
사중손실율 = 40%
순추가 일자리 = 1,500 × (1 − 0.40) = 900개
이 프로그램이 정직하게 보고할 수 있는 성취는 1,500개가 아니라 900개다——대체효과나 유출을 고려하기도 전에, 순수하게 사중손실 조정만으로 40% 감소한 것이다.
자선단체 고용 프로그램: 한 자선단체가 장기 실업자 200명을 60만 파운드의 비용으로(배치당 3,000파운드, 총액) 취업시킨다. 전국 노동시장 데이터는, 개입이 전혀 없어도, 비교 가능한 장기 실업자 코호트의 약 15%가 자연스러운 일자리 시장 순환을 통해 같은 기간 내에 일자리를 찾는다는 것을 보여준다.
사중손실율 = 15%
순추가 배치 = 200 × (1 − 0.15) = 170명
추가 배치당 실제 비용 = £600,000 / 170 ≈ £3,529
총배치당비용 수치(£3,000)는 자선단체의 추가적 기여의 실제 비용을 약 15% 과소평가한다.
소프트웨어 개발과의 연관성
추가성과 사중손실은 공공 또는 사회 부문을 위한 임팩트 측정이나 보조금 관리 소프트웨어를 구축하는 누구에게나 직접적으로 중요하다.
- 성과 보고 시스템은 참여자 성과뿐 아니라 처음부터 설계에 비교 또는 기준선 집단을 포함해야 한다——그것 없이 시스템이 출시된 후 반사실을 소급 추가하는 것은 처음부터 그것을 포함하여 구축하는 것보다 훨씬 어렵다(반사실 분석 참조).
- 총참여자 수만 보고하는 대시보드는 자금제공자와 감독 기관에게 임팩트를 체계적으로 과대 보고하게 된다. 사중손실 추정치가(평가 문헌이나 비교 집단으로부터) 존재하는 경우, 소프트웨어는 총수치 대신이 아니라 그것과 함께 사중손실 반영 순수치를 표시해야 한다.
- 이는 사회적 투자수익률에 직접 연결된다. SROI 비율은 사중손실(과 대체효과)이 주장된 총성과에서 차감된 후에야 신뢰할 수 있다——이 단계를 생략한 SROI 계산기는 검증을 통과하지 못할 부풀려진 비율을 생산할 것이다.
함정
- 총성과를 마치 모두 추가적인 것처럼 보고하는 것. 이는 보조금 및 프로그램 보고에서 가장 흔한 단일 임팩트 측정 오류다. 헤드라인 수치를 게시하기 전에 항상 "이것이 어쨌든 일어났을까?"를 물을 것.
- 단일 사중손실 백분율이 어디에나 적용된다고 가정하는 것. 사중손실은 부문, 대상 집단, 지역 경제 상황에 따라 크게 달라진다. 무관한 평가에서 가져온 수치를 재사용하기보다 비교 집단이나 부문별 증거를 사용할 것.
- 사중손실을 대체효과와 혼동하는 것. 사중손실은 동일한 참여자에 대한 반사실적 성과에 관한 것이고, 대체효과는 다른 사람이나 장소에 미치는 영향에 관한 것이다——대체와 귀속 참조. 이 둘을 혼동하면 조정을 이중으로 계산하거나 과소 계산하게 된다.
- 참여자로부터의 자기보고식 사중손실. 수혜자에게 "저희의 도움 없이도 이것이 일어났을까요?"라고 묻는 것은 체계적으로 낮은 사중손실 추정치를 생산한다(참여자는 프로그램에 공을 돌리는 경향이 있다). 독립적인 비교 집단이 훨씬 더 신뢰할 수 있다.
출처
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020). https://www.gov.uk/government/publications/the-magenta-book
- HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition), originally developed with English Partnerships and the Housing Corporation.
- European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on deadweight, displacement, and leakage in structural-funds evaluation.
- National Lottery Community Fund, "Guidance on Outcomes and Impact Reporting." https://www.tnlcommunityfund.org.uk/