주제 8 / 64· 공공 가치의 기초

반사실 분석

반사실은 개입이 없었을 경우 무슨 일이 일어났을지에 대한 추정이다. 그것 없이는, 프로그램이 시작된 후 관찰된 변화를 어쨌든 일어났을 변화와 구별할 수 없다——전후 수치가 아무리 설득력 있어 보여도, 반사실이 없으면 효과에 대한 증거도 없는 것이다. HM Treasury의 Magenta Book은 신뢰할 수 있는 반사실을 구성하는 것을 임팩트 평가의 중심적인 방법론적 과제로 취급하며, 다른 어떤 단일 설계 선택보다 중요하게 여긴다.

중요한 이유

"프로그램을 도입한 후 1년 동안 범죄가 15% 감소했다"는 것은, 그것 없이 범죄에 무슨 일이 일어났을지 모른다면 프로그램이 효과가 있었다는 증거가 아니다——무관한 경제적 또는 인구통계학적 추세로 인해 범죄가 어쨌든 20% 감소했을 수도 있으며, 이는 원시 수치가 개선되었음에도 불구하고 프로그램이 반사실에 비해 실제로는 상황을 더 악화시켰음을 의미한다. 이는 공공 부문과 사회 부문의 임팩트 주장에서 가장 흔한 단일 분석 오류다. 전후 비교를 인과관계의 증거로 착각하는 것이다. Magenta Book은 임팩트 평가가 반사실적 질문——"이 개입이 무슨 차이를 만들었는가?"——에 답하기 위해 존재하며, 그것에 답하려면 일어나지 않은 세계를 단순히 서술하는 것이 아니라 추정해야 한다고 명시한다.

서로 다른 방법들은 서로 다른 신뢰 수준으로 반사실을 구성하며, 정부 평가 지침은 그에 따라 순위를 매긴다. 개인이나 지역이 개입을 받을지 여부에 무작위로 배정되는 무작위 대조 시험(RCT)은 가장 강력한 반사실을 생산한다. 무작위화는 처치군과 대조군이 평균적으로 개입을 받는다는 점을 제외하고는 다르지 않다는 것을 보장하기 때문이다. Cabinet Office와 What Works Network는 Behavioural Insights Team의 2012년 "Test, Learn, Adapt" 보고서 이후 영국 공공정책 전반에서 RCT를 장려해 왔는데, 이는 정확히 더 약한 설계가 교란에 취약하기 때문이다——관찰된 차이는 프로그램의 효과가 아니라 누가 참여하기로 선택했는지를 반영할 수 있다. 무작위화가 비현실적이거나 비윤리적인 경우(법정 수급권이 있는 프로그램이나 전체 인구 정책 변화의 경우 흔히 그렇다), Magenta Book은 더 약하지만 여전히 유용한 대안들의 명시적인 위계를 제시한다. 매칭된 비교 집단, 이중차분법 설계, 자격 기준선 주변의 회귀불연속, 그리고 최후의 수단으로 단순 전후 비교——이는 프로그램의 효과를 같은 시기에 변한 다른 모든 것의 효과와 혼동하기 쉬운 가장 약한 형태의 증거로 명확히 표시된다.

계산식

모든 방법에 적용되는 반사실 틀:

추정된 영향 = 성과(개입 있음) − 성과(반사실: 개입 없음)

다음이 아니다:
추정된 영향 ≠ 성과(이후) − 성과(이전)   [시간과 처치를 혼동함]

정부 평가에서 가장 흔한 준실험 설계 중 하나인 이중차분법은, 비교 집단 자체의 전후 변화를 뺌으로써 처치 효과를 분리한다.

DiD 추정치 = [성과(처치군, 이후) − 성과(처치군, 이전)]
           − [성과(비교군, 이후) − 성과(비교군, 이전)]

이는 두 집단에 공통된 모든 추세(예: 모두에게 영향을 미치는 전국적 경제 변동)를 제거하여, 개입에 귀속될 수 있는 차등적 변화만 남긴다.

계산 예시

고용 프로그램, 전후 비교(약한 설계): 취업 지원 제도가 참여자 고용률이 1년 동안 40%에서 55%로 상승했다고 보고한다——순진한 결론은 "프로그램으로 인해 +15퍼센트포인트"이다.

같은 프로그램, 이중차분법(더 강한 설계): 같은 지역 노동시장에서 뽑은 유사한 비참여자들로 구성된 매칭 비교 집단은 같은 해 동안 고용률이 38%에서 47%로 상승했음을 보여준다(전국적 경기 회복이 진행 중이었다).

처치군 변화:   55% − 40% = +15퍼센트포인트
비교군 변화:   47% − 38% = +9퍼센트포인트

DiD 추정치(진정한 프로그램 효과) = 15 − 9 = +6퍼센트포인트

정직하게 귀속 가능한 효과는 15가 아니라 6퍼센트포인트다——겉보기 전후 개선의 절반 이상이, 비교 집단도 끌어올린 같은 경기 회복으로 인해 프로그램과 무관하게 일어났을 것이다.

회귀불연속, 자격 기준선: 한 보조금 제도가 직원 50명 미만인 기업에만 제공된다. 기준선 바로 아래(4549명, 자격 있음)와 바로 위(5054명, 자격 없음) 기업들의 성과를 비교하는 것은 신뢰할 수 있는 반사실을 제공한다. 왜냐하면 임의적인 행정적 기준선의 양쪽에 있는 기업들은 그 외에는 유사하기 때문이다——자격을 결정하는 것은 근본적인 기업 특성이 아니라 기준선이다. 기준선에서만 관찰된 두 집단 간 평균 2,000파운드의 성과 차이는, 모든 자격 기업과 모든 비자격 기업(체계적으로 규모가 다른)을 단순 비교하는 것보다 훨씬 더 확신을 가지고 보조금에 귀속될 수 있다.

소프트웨어 개발과의 연관성

반사실적 사고는 정부와 사회 부문 소프트웨어의 임팩트 추적 시스템과 평가 파이프라인이 어떻게 설계되어야 하는지를 형성해야 한다.

  • 처음부터 시스템에 비교 집단 포착을 구축할 것——자격이 있었지만 등록하지 않은 이들, 또는 매칭된 비참여 코호트를 기록하는 것——프로그램이 이미 실행되어 전후 데이터만 존재하게 된 후에 소급 추가하는 대신.
  • 무작위화가 가능한 경우(단계적 출시, 일부 사용자에게 다른 사용자보다 먼저 활성화되는 디지털 서비스), 무작위 배정을 조회 가능한 필드로 보존하도록 시스템을 계측할 것——배정 순서가 기록되지 않으면 단계적 출시는 우연히 자신의 평가 가치를 파괴한다.
  • 이는 임팩트 평가 방법의 근본적인 방법이며, 임팩트 평가 대 과정 평가와 이를 구별하는 것이다. 후자는 프로그램이 효과를 유발했는지가 아니라 의도한 대로 전달되었는지를 묻는다.
  • 추가성과 사중손실과 대체와 귀속은 둘 다 근본적으로 반사실적 질문이다——사중손실은 "이 특정 성과가 개입 없이는 어땠을까"이며, 완전한 평가 설계가 아니라 조정 수준에서 적용된다.

함정

  • 전후 비교를 인과관계의 증거로 취급하는 것. 이는 공공 및 사회 부문 임팩트 보고에서 가장 흔하고 가장 중대한 오류다. 전후 변화는 프로그램의 효과를 같은 기간 동안 변한 다른 모든 것과 혼동한다.
  • 처치군과 체계적으로 다른 비교 집단을 사용하는 것. 매칭된 비교 집단은 관련 특성에서 진정으로 유사해야 한다(Magenta Book의 방법 위계 참조). 프로그램 참여자(자발적으로 참여했고 흔히 더 동기부여된)를 비참여자(그렇지 않은)와 비교하는 것은 선택 편향을 프로그램 효과로 위장할 위험이 있다.
  • 부실한 전달 설계로 무작위화 기회를 파괴하는 것. 단계적 또는 무작위 출시는 배정이 진정으로 무작위이고 기록될 때에만 평가 가치를 보존한다——지역 관리자가 누가 먼저 갈지 선택하게 하면 그 목적이 무너진다.
  • 약한 설계로부터 정밀성을 과도하게 주장하는 것. 전후 추정치는 측정된 효과 크기가 아니라 시사적인 것으로 제시되어야 한다. Magenta Book의 증거 위계가 존재하는 이유는 주장의 강도가 그것을 생산한 설계의 강도와 일치하도록 하기 위함이다.

출처

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).