주제 24 / 64· 사회적 가치와 임팩트 측정

임팩트 평가 대 과정 평가

임팩트 평가는 프로그램이 의도한 성과를 유발했는지를 묻는다. 과정 평가는 프로그램이 설계대로 실제로 전달되었는지——누구에게, 어떤 강도로, 어떤 장애물이나 촉진요인과 함께——를 묻는다. 이것들은 서로 다른 방법을 필요로 하는 서로 다른 질문이며, HM Treasury의 Magenta Book은 둘 다 함께 의뢰하는 것을 표준 실무로 취급하는데, 약하거나 없는 임팩트 결과는 그 자체로는 해석 불가능하기 때문이다. 그것은 프로그램의 근본적인 이론이 틀렸는지, 아니면 좋은 이론이 단순히 제대로 전달된 적이 없는지를 알려줄 수 없다.

중요한 이유

정부 평가는 왜 그런지를 설명할 과정 평가 없이 프로그램으로부터 측정 가능한 효과가 없다는 것을 반복적으로 발견해왔다——이는 위탁 기관이 "이 아이디어는 작동하지 않는다"(이론 실패)와 "이 아이디어는 실제로 제대로 시도된 적이 없다"(실행 실패)를 구별할 수 없게 만든다. 2015년 BMJ에 발표되고 Magenta Book과 함께 널리 인용되는 복잡한 개입의 과정 평가에 관한 Medical Research Council의 지침은 충실도, 강도, 도달을 과정 평가가 측정해야 하는 핵심 사항으로 공식화했다. 과정 평가 없이 임팩트 평가를 의뢰하는 것은, 그것이 의도된 인구의 절반에게 의도된 강도의 일부만으로 전달되었기 때문에 진정으로 건전한 프로그램 설계를 포기하게 될 위험이 있다——이는 시스템 구축자가 예방하기에 좋은 위치에 있는 실수인데, 전달 충실도가 정확히 운영 데이터 시스템이 거의 실시간으로 포착할 수 있는 것이기 때문이다.

계산식

과정 평가가 묻는 것:
 - 계획된 강도로 대상 인구에게 전달되었는가?
 - 전달이 로직 모델/변화의 이론 설계와 일치했는가?
 - 어떤 장애물이나 촉진요인이 전달에 영향을 미쳤는가?
 방법: 사전 명시된 기준선에 대한 충실도 확인, 사례 연구,
      인터뷰, 행정 전달 데이터.

임팩트 평가가 묻는 것:
 - 무엇이 변화했고, 그 변화 중 얼마나 프로그램에 귀속되는가?
 방법: RCT, DiD, PSM, RDD——반사실에 대비한
      impact-evaluation-methods 참조.

결합된 진단:
 효과 없음 + 높은 충실도  → 이론 실패: 모델 자체가 성과를
                              생산하지 못함
 효과 없음 + 낮은 충실도  → 실행 실패: 모델이 제대로 테스트된
                              적이 없음
 효과 발견 + 높은 충실도  → 확신을 가지고 재현
 효과 발견 + 낮은 충실도  → 더 조사할 것: 효과가 취약하거나
                              장소 특정적일 수 있음

계산 예시

지방자치단체(양육 프로그램): 이중차분법을 사용한 임팩트 평가는 아동 행복 지표에서 +2퍼센트포인트의 변화를 발견한다——통계적으로 유의하지 않다. 함께 실행된 과정 평가는, 프로그램이 목표로 한 500가구 중 210가구(42% 도달)에만 도달했고, 그 중 사전 명시된 75% 이상 세션 참석이라는 충실도 기준선을 완료한 것은 95가구뿐——원래 계획된 도달의 19%——이었음을 발견한다. 결론: 약한 임팩트 결과는 프로그램 모델이 작동하지 않는다는 증거가 아니라 실행 실패와 일치한다. 적절한 대응은 프로그램 설계를 포기하는 것이 아니라 58%의 이탈을 유발한 의뢰 경로를 고치는 것이다.

자선단체(디지털 문해력 프로그램): 임팩트 평가는 강력한 효과(디지털 자신감 점수에서 +18퍼센트포인트)를 발견하고, 병행된 과정 평가는 12개 전달 부지 전체에서 계획된 커리큘럼에 대한 92%의 충실도를 확인한다. 결합하면, 자금제공자는 확신을 가지고 프로그램을 확대할 수 있다. 왜냐하면 그 효과가 하나의 유별나게 좋은 부지의 산물이 아니라 일관되게 유지되는 것으로 나타났기 때문이다.

소프트웨어 개발과의 연관성

과정 평가 데이터는 정확히 전달 시스템이 포착하기에 좋은 위치에 있는 것이다. 계획 대비 출석, 세션 강도, 그리고 의뢰나 등록 깔때기의 각 단계에서의 이탈——엔지니어가 이미 제품 기능을 위해 구축하는 것과 같은 깔때기 분석을, 대신 사회 프로그램의 전달 파이프라인에 적용한 것이다. 보조금 종료 평가를 기다리는 대신 거의 실시간으로 프로그램 관리자에게 충실도와 도달 지표를 공급하는 것은, 자금 지원 기간이 끝난 후에야 발견되는 대신 프로그램 중간에 고장난 의뢰 경로를 고칠 수 있게 해준다. 과정 평가가 짝을 이루는 인과적 설계는 임팩트 평가 방법을, 과정 평가가 충실도를 확인하는 대상이 되는 설계는 변화의 이론과 로직 모델을, 약속된 성과까지 전달을 추적하는 것은 편익 실현을 참조.

함정

  • 임팩트 평가만 의뢰하는 것. 그러면 없거나 약한 결과가 이론 실패인지 실행 실패인지 해석될 수 없으며, 이는 정확히 다음에 무엇을 할지 결정하는 데 중요한 구별이다.
  • 과정 평가를 부드러운 부가 기능으로 취급하는 것. 그것은 임팩트 설계와 같은 엄밀함과 사전 명시된 충실도 기준을 필요로 하며, 그렇지 않으면 결과가 나올 때 일화로 무너진다.
  • "시간 내에 예산 내로"와 "설계대로 전달됨"을 혼동하는 것. 과정 평가는 프로젝트 관리 신호등 상태가 아니라 모델에 대한 충실도——강도, 대상 집단, 내용——를 확인한다.
  • 충실도 기준선을 사전 등록하지 않는 것. 사후에 무엇이 "충분한 강도"로 간주되는지를 결정하는 것은 실망스러운 임팩트 결과에 대한 어떤 설명이든 사후 변명처럼 보이게 만든다.

출처