주제 7 / 64· 공공 가치의 기초

대체효과와 귀속

대체효과는 프로그램의 겉보기 편익이 새로운 것을 창출하는 것이 아니라 다른 곳에서 활동이나 편익을 가져옴으로써 달성될 때 발생한다——당신의 승리가 다른 누군가의 손실인 것이다. 귀속은 관련된 질문으로, 다른 행위자와 요인들도 기여했을 때 관찰된 성과 중 얼마만큼을 당신의 개입이 진정으로 자신의 공으로 주장할 수 있는지를 묻는다. 둘 다 사중손실 및 유출과 함께 영국 공공 부문 평가 지침의 표준적인 조정 항목이며, 둘 다 실제보다 훨씬 더 강력해 보이는 임팩트 주장에서 일상적으로 생략된다.

중요한 이유

50개의 상점을 재개발 구역으로 이전시키는 데 도움을 주는 지방자치단체의 기업 보조금 제도는 "50개 기업 지원, 200개 일자리 창출"이라고 보고할 수 있다——그러나 그 기업들이 확장한 것이 아니라 단순히 인접한 번화가에서 옮겨왔을 뿐이라면, 그 일자리는 창출된 것이 아니라 대체된 것이며, 구(또는 지역) 전체의 순효과는 0에 가까울 수 있다. HM Treasury의 Magenta Book과 오래된 추가성 가이드는 대체효과를 필수 공제항목으로 취급하는데, 이는 정확히 지역적 성공 사례가 순국가적 또는 지역적 편익을 전혀 생산하지 않을 때에도 흔하기 때문이다——가치는 단지 이동했을 뿐이며, 흔히 그것을 잃은 지역이나 행위자에게 불리하게 작용한다. 구조기금 평가 지침(이전 EU 지역개발기금 프로그램과 UK Shared Prosperity Fund 같은 그 국내 후속 프로그램에 사용됨)은 이를 세 가지 공간 규모——지역 대체효과(도시 내), 광역 대체효과(권역 내), 전국 대체효과(영국 전역)——에서 공식화한다. 왜냐하면 개입은 한 규모에서는 추가적이면서 더 넓은 규모에서는 순수한 대체효과일 수 있기 때문이다——인접한 마을에서 노동자를 끌어오는 일자리 프로그램은 지역적 성공처럼 보여도 전국적으로는 중립적이다.

귀속은 파트너십이 많은 전달 방식에서 형제 문제이며, 이는 이제 사회 부문과 기관 간 공공서비스 업무의 표준이 되었다. 세 조직이 노숙 예방 서비스를 공동으로 전달할 때, 각 조직의 연간 보고서는 독립적으로 노숙자 감소라는 같은 성과에 대한 공을 주장할 수 있다——보고서를 합산하면, 주장된 임팩트가 관찰된 실제 세계의 변화를 초과할 수 있으며, 때로는 몇 배에 이른다. 기여 분석에 대한 Magenta Book의 지침이 존재하는 이유는 정확히 다기관 전달에서 단일 행위자에 대한 무작위 귀속이 흔히 불가능하기 때문이며, 정직한 답은 흔히 "우리가 이 성과를 유발했다"가 아니라 "우리가 이 성과에 기여했다"이다.

계산식

표준 순영향 산출 순서의 일부로서의 대체효과(전체 연쇄는 추가성과 사중손실 참조):

순추가적 영향 = 총성과 − 사중손실 − 대체효과 − 유출, × 승수

대체효과율 = 다른 곳에서 전용된 편익/활동
             / 관찰된 총편익/활동

여러 행위자가 하나의 성과에 기여하는 경우의 귀속은, 보통 대체효과와 같은 엄밀함으로 측정할 수 없기 때문에 정확한 백분율이 아니라 기여 몫으로 표현되는 것이 일반적이다.

귀속 가능 몫 ≈ f(인과적 기여의 강도, 다른 행위자들의 기여,
              외부/맥락적 요인)

주장된 임팩트는 결코 다음을 초과해서는 안 된다:
  Σ (각 파트너의 귀속 가능 몫) ≤ 관찰된 총성과의 100%

계산 예시

재개발 보조금: 한 의회의 번화가 보조금 제도는 자금이 지원된 구역에서 200개의 소매업 일자리가 새로 창출되었다고 보고한다. 후속 설문조사 연구는 그 중 60개가 같은 구 내의 자금이 지원되지 않은 인접 번화가에서 이전한 기업들로부터 온 것이고, 추가로 30개는 보조금과 관계없이 어쨌든 그 지역 어딘가에 지점을 열었을 전국 체인점에서 온 것임을 발견한다.

주장된 총일자리 = 200
지역 대체효과 = 60(구 내에서 이동)
광역 대체효과 = 30(어쨌든 광역 내 어딘가에서 열었을 것)

순추가 일자리(구 수준) = 200 − 60 = 140
순추가 일자리(광역 수준) = 200 − 60 − 30 = 110

정직한 헤드라인은 자금제공자가 관심을 갖는 지리적 규모에 달려 있다——전국 또는 광역 수준에서 평가되는 재무부 비즈니스 케이스는 구 수준의 140이 아니라 110을 사용해야 하며, 물론 미가공 수치인 200을 사용해서는 안 된다.

다기관 노숙 서비스: 세 파트너 조직(의회, 주거 자선단체, 보건 트러스트)이 노숙자 감소 서비스를 공동으로 전달한다. 그 지역의 노숙자는 그 해에 30명 감소했다. 각 조직의 개별 연간 보고서는 "우리가 노숙자를 30명 감소시켰다"고 주장한다——합산하면, 세 보고서는 90명이 도움을 받았다고 주장하며, 이는 실제 감소의 세 배다. 각 파트너에게 몫을 배분하는 기여 분석(문서화된 역할과 독립적 평가에 근거하여, 예를 들어 의회 40%, 자선단체 35%, 보건 트러스트 25%)은 각각 12명, 10.5명, 7.5명을 보고할 것이며, 이는 관찰된 30명으로 정확하게 합산된다.

소프트웨어 개발과의 연관성

대체효과와 귀속은 다중 사이트 또는 다중 파트너 전달을 위한 임팩트 추적 및 성과 보고 시스템이 어떻게 설계되어야 하는지를 형성한다.

  • 지리적·조직적 범위는 어떤 임팩트 대시보드에서든 명시적인 제1급 필드여야 한다——"구를 위해" 보고된 수치와 같은 수치가 "광역을 위해" 보고된 것은 서로 다른 숫자이며, 이를 혼동하는 시스템은 포트폴리오 수준에서 조정할 수 없는 숫자를 생산할 것이다.
  • 여러 파트너가 공동으로 전달하는 경우, 성과 시스템은 각 파트너의 보고 모듈이 공유된 성과의 100%를 독립적으로 주장하게 놓아두는 대신 기여 몫을 기록해야 한다(최소한 공동 귀속을 표시해야 한다)——그렇지 않으면 포트폴리오 수준의 집계는 때로는 심각하게 총임팩트를 과대 보고할 것이다.
  • 이는 사회적 투자수익률과 보조금 성과 보고에 연결된다. 대체효과를 무시하거나 공유된 성과를 과잉 귀속하는 SROI 또는 IRIS+ 계산은 감사나 재현을 통과하지 못할 부풀려진 비율을 생산할 것이다.

함정

  • 더 넓은 대체효과를 확인하지 않고 지역적 성공을 보고하는 것. 프로그램은 가장 작은 보고 규모에서는 매우 성공적으로 보이면서 더 넓은 규모에서는 중립적이거나 심지어 부정적일 수 있다. 순수치가 적용되는 지리적 규모를 항상 명시할 것.
  • 공동 전달에서 모든 파트너가 전체 공을 주장하게 두는 것. 기여 몫이 합의되고 문서화되지 않는 한, 파트너 간 집계 보고는 총임팩트를 과대 보고할 것이다——파트너 수준의 주장이 관찰된 총계를 초과하지 않는지 확인할 것.
  • 귀속을 실제로는 판단인데도 정확한 백분율인 것처럼 취급하는 것. 무작위화된 반사실과 달리, 기여 분석은 측정된 사실이 아니라 옹호 가능한 추정치를 생산한다. 거짓 정밀도가 아니라 적절한 불확실성과 함께 제시할 것.
  • 시장 대면 개입에서 대체효과를 무시하는 것. 기업 지원, 고용 제도, 장소 기반 재생은 전형적인 고대체효과 범주다. 이들에 대해서는 대체효과 점검을 선택이 아니라 필수로 취급할 것.

출처

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), including guidance on contribution analysis. https://www.gov.uk/government/publications/the-magenta-book
  • HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition).
  • European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on local, regional, and national displacement scales.
  • Mayne J. "Contribution Analysis: An Approach to Exploring Cause and Effect." ILAC Brief No. 16, 2008.