주제 23 / 64· 사회적 가치와 임팩트 측정
임팩트 평가 방법
임팩트 평가 방법은 정책이나 프로그램이 어쨌든 일어났을 것과 구별되게 실제로 무엇을 유발했는지를 추정하는 데 사용되는 통계적, 실험적 설계다——무작위 대조 시험(RCT), 이중차분법, 성향점수매칭, 회귀불연속 설계가 영국 공공정책에서 가장 흔히 사용되는 네 가지다. 이들이 존재하는 이유는 대부분의 정부 개입이 실험실에서 테스트될 수 없기 때문이다. 당신은 어느 환자가 약을 받는지 무작위화할 수 있는 방식으로 어느 마을이 새로운 버스 노선을 받는지 무작위화할 수 없으므로, 이러한 방법들은 항상 무작위 배정을 요구하지 않으면서 같은 인과적 논리를 차용한다.
중요한 이유
HM Treasury의 Magenta Book, 준실험 방법에 관한 부록 A는 이러한 설계 중에서 선택하는 것에 대한 영국 정부의 정전적 지침이며, Education Endowment Foundation과 What Works Centre for Local Economic Growth와 같은 기관들은 이를 중심으로 구축된 증거 위계를 제도화한다——무작위화가 실행 가능하고 윤리적인 곳에서는 RCT, 그렇지 않은 곳에서는 준실험 설계. 방법의 선택은 기술적인 부차적 문제가 아니다. 그것은 평가가 "프로그램이 이것을 유발했는가?"에 답할 수 있는지, 아니면 단지 "이것이 프로그램이 시작된 후에 일어났는가?"에만 답할 수 있는지를 결정하며, 이는 반사실 분석이 어떤 평가가 의뢰되기 전이든 실무자가 묻도록 강제하기 위해 만들어진 것과 같은 질문이다.
계산식
RCT:
영향 = 평균(성과 | 처치군) − 평균(성과 | 대조군)
(처치에 대한 배정이 무작위이기 때문에 유효함)
이중차분법(DiD):
영향 = [성과_이후(처치) − 성과_이전(처치)]
− [성과_이후(대조) − 성과_이전(대조)]
("평행 추세" 가정을 필요로 함: 개입이 없었다면 처치군과
대조군이 함께 움직였을 것)
성향점수매칭(PSM):
1. 모든 단위에 대해 P(처치 = 1 | 공변량 X)를 추정한다
→ 성향점수
2. 처치된 단위를 유사한 성향점수를 가진 비처치 단위와 매칭한다
3. 영향 = 평균(성과 | 처치) − 평균(성과 | 매칭된 대조)
회귀불연속 설계(RDD):
영향 = 기준선 바로 위 대 바로 아래 단위를 비교하여, 자격
기준선에서 관찰된 성과의 도약
계산 예시
지방자치단체(문제 가정 프로그램에 대한 이중차분법): 성과는 학교 출석률이다. 처치 지역은 프로그램 기간 동안 84%에서 89%로 출석률이 이동한다(+5퍼센트포인트); 비교 가능하지만 처치되지 않은 지역은 같은 기간 동안 85%에서 87%로 이동한다(+2퍼센트포인트). DiD 영향 추정치: 5 − 2 = 프로그램에 귀속되는 +3퍼센트포인트. 처치 지역의 2,000명 학생 코호트에 적용하면, 이는 대략 60명의 추가 학생(3% × 2,000)이 더 높은 출석 범주에 도달하는 것과 일치하며, 이 외삽은 정밀한 인원수가 아니라 평행 추세 유보 조건과 함께 보고되어야 한다.
자선단체(취업가능성 자선단체를 위한 성향점수매칭): 300명의 프로그램 참여자가, 나이, 이전 고용 이력, 자격 수준으로부터 구축된 성향점수를 사용하여, 더 큰 행정 데이터셋의 300명의 개인과 매칭된다. 12개월 고용률: 매칭된 처치군 46%, 매칭된 비교군 33%. PSM 영향 추정치: 46% − 33% = 참여와 성과 모두를 이끄는 관찰되지 않은 교란변수(예: 동기부여)가 없다는 조건 하에, 프로그램에 귀속되는 +13퍼센트포인트.
소프트웨어 개발과의 연관성
이러한 설계 중 어느 것이든 나중에 실행 가능한지는 초기에 이루어진 데이터 엔지니어링 결정에 크게 좌우된다. RDD는 정확하게 기록된 실행 변수와 진정으로 깨끗한 자격 기준선을 필요로 한다; DiD는 처치 지역과 비교 지역 모두에 대해 시간에 걸친 비교 가능한 패널 데이터를 필요로 하며, 이는 시스템과 연도에 걸친 일관된 결합을 의미한다; PSM은 처치 후에 재구성된 것이 아니라 처치 전에 포착된 풍부한 기준선 공변량 데이터를 필요로 한다. 처음부터 변화의 이론과 로직 모델과 함께 설계된 데이터 모델——기준선 공변량, 날짜, 비교군 자격이 있는 기록을 포착하는——이 나중에 값비싼 사후 대응 대신 엄밀한 임팩트 평가를 가능하게 만드는 것이다. 이러한 방법들이 그 자체로는 답하지 못하는 보완적인 질문에 대해서는 임팩트 평가 대 과정 평가를 참조.
함정
- 실행 불가능하거나 비윤리적인 곳에 RCT를 강제하는 것, 또는 반대로 정책 기준선, 단계적 출시와 같은 진정한 기회가 이용 가능했지만 사용되지 않았을 때 준실험 설계를 전혀 고려하지 않는 것.
- DiD에서 평행 추세 가정을 무시하는 것. 비교 지역이 개입 이전에 이미 처치 지역과 갈라지고 있었다면, 두 시점 비교는 오염된다. 전후뿐 아니라 사전 추세를 확인할 것.
- PSM에서 관찰된 공변량에 대해서만 매칭하는 것. 참여자 동기부여와 같은 관찰되지 않은 선택은 관찰된 공변량이 잘 균형 잡혀 있어도 추정치를 편향시킬 수 있다.
- RDD에서의 실행 변수 조작. 사람들이 자격 기준선 바로 안쪽에 자신의 점수가 떨어지도록 영향을 미칠 수 있다면, 그 불연속은 더 이상 인과적 효과를 분리하지 못한다.
출처
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/