주제 18 / 64· 사회적 가치와 임팩트 측정

변화의 이론

변화의 이론은 장기적인 목표로부터 그것이 달성되기 위해 존재해야 하는 전제 조건과 활동으로, 각 연결고리를 잇는 가정과 함께, 명시적으로 역방향 지도화된 인과적 경로다. 이는 원하는 성과에서 출발하여 "이것이 일어나기 위해 이것 바로 전에 무엇이 참이어야 하는가?"를 반복적으로 물어, 실제로 전달할 수 있는 활동에 도달할 때까지 구축된다——이는 로직 모델과 반대 방향이며, 이 둘이 상호 교환 가능한 것이 아니라 상호 보완적인 이유다.

중요한 이유

역방향 지도화 방법은 Center for Theory of Change와 ActKnowledge에 의해 공식화되었으며, 프로그램의 가정을 명시적으로 만들어 그것을 믿음의 문제가 아니라 검증할 수 있게 만드는 것에 대한 평가자 캐롤 와이스의 작업을 기반으로 한다. 영국의 보조금 평가는 이를 직접 흡수했다. HM Treasury의 Magenta Book은 변화의 이론을 모든 평가 설계의 출발점으로 취급하며, National Lottery Community Fund와 같은 자금제공자들은 신청자가 제안에 자금을 지원받기 전에 이를 명확히 할 것을 요구한다. 이것이 소프트웨어 엔지니어에게 중요한 이유는, 변화의 이론이 당신의 시스템이 무엇을 측정해야 하는지를 결정해야 하는 문서이기 때문이다——그 인과적 연쇄가 "급여 이용률은 청구인이 개인화된 계산을 받는 것에 달려 있다"고 말한다면, 그것은 당신의 제품이 입증하거나 반박하도록 계측될 수 있는 검증 가능한 주장이다.

계산식

변화의 이론은 숫자가 아니라 구조적이다. 각 연결고리는 가정과 그 가정이 거짓임을 보여줄 수 있는 지표를 모두 지녀야 한다.

장기적 성과(목표)
  ↑ 전제 조건 + 가정 + 지표
중간 성과 N
  ↑ 전제 조건 + 가정 + 지표
  ...
중간 성과 1
  ↑ 전제 조건 + 가정 + 지표
활동 / 개입
  ↑ 투입된 자원
투입물

이 구조는 각 연결고리의 가정이 실제로 성립하는지를 검증하기 위해 존재하는 임팩트 평가 방법과, 장기적 성과가 어쨌든 일어났을지를 검증하는 반사실 분석에 직접 공급된다.

계산 예시

지방자치단체(노숙 예방): 장기적 성과는 퇴거 위험에 처한 가구에 대해 12개월 시점의 지속되는 임차권이다.

  • 전제 조건: 가구가 체납금에 대한 현실적이고 감당 가능한 상환 계획을 가진다. 가정: 케이스워커가 협상한 계획이 법원이 명령한 계획보다 더 지속 가능하다. 지표: 6개월 시점에서도 여전히 유효한 계획의 비율.
  • 전제 조건: 가구가 자격이 있는 급여를 청구한다. 가정: 디지털 급여 계산기가 종이 양식에 비해 올바른 청구를 증가시킨다. 지표: 도구 출시 전후를 비교한 청구 정확도.
  • 활동: 케이스워커 심사, 디지털 급여 계산기, 체납금 협상.

120가구의 파일럿 코호트에서, 급여 계산기 가정은 이후 올바르게 청구한 102가구(85%)에서 성립했으며, 이는 후속 과정 평가로 입증되었다——이는 예방된 노숙에 대한 단일 종단 간 주장이 아니라 그 특정 연결고리에 대한 증거를 프로그램 팀에게 제공한다.

자선단체(청소년 멘토링): 장기적 성과는 학교 배제의 감소다. 역방향 지도화된 전제 조건: 개선된 정서 조절 ← 멘토와의 신뢰할 수 있는 일대일 관계 ← 두 학기에 걸친 일관된 주간 접촉. 이 이론은 "일관된 주간 접촉"이라는 전제 조건을 놓치면(예를 들어 멘토 이직으로 인해) 그 성과가 뒤따르지 않을 것이라고 예측한다는 것을 명시적으로 만드는데, 이는 희망이 아니라 검증 가능하고 반증 가능한 주장이다.

소프트웨어 개발과의 연관성

변화의 이론은 단일 대시보드가 구축되기 전에 제품의 데이터 모델을 형성해야 한다. 무엇이든 기록하기 가장 쉬운 것을 기본값으로 삼는 대신, 어느 연결고리에 지표가 필요한지 식별하고 특별히 그것들에 계측할 것. 이는 또한 로드맵 대화도 규율한다——연쇄의 어느 연결고리에도 매핑되지 않는 기능은 명백히 구축할 가치가 없다. 이론이 합의된 후 구축되는 전방향 설명책임 연쇄는 로직 모델을, 어떤 성과를 평가할지 범위를 정하기 위해 변화의 이론에 의존하는 방법은 사회적 투자수익률을, 중간 성과 연결고리가 의존하는 구별은 성과와 산출물을 참조.

함정

  • 로직 모델과 혼동하는 것. 변화의 이론은 인과적이고 설명적이다(우리가 왜 이것이 작동한다고 믿는가). 로직 모델은 순차적이고 서술적이다(무엇이 어떤 순서로 일어나는가). 하나만 만들면 "왜"나 설명책임의 흔적 중 하나가 누락된다.
  • 가정을 암묵적으로 남기는 것. 역방향 지도화의 전체 가치는 검증 가능한 가정을 표면화하는 것이다. 각 연결고리를 거짓으로 만들 수 있는 것을 명시하지 않고 상자와 화살표만 나열한 변화의 이론은 장식일 뿐이다.
  • 한 번 만들고 선반에 올려두는 것. 자금 지원 신청을 위해 작성되고 다시 검토되지 않는 변화의 이론은, 증거가 연결고리를 반박하기 시작하는 순간 유용성을 잃는다.
  • 이해관계자의 의견을 건너뛰는 것. 최일선 직원이나 수혜자의 의견 없이 전적으로 위탁 기관에 의해 구축된 변화의 이론은 서비스를 전달하는 그 누구도 실제로 믿지 않는 가정을 흔히 인코딩한다.

출처