Тема 18 из 64· Социальная ценность и измерение воздействия

Теория изменений (Theory of Change)

Теория изменений — это явный, выстроенный в обратном направлении причинный путь от долгосрочной цели к предпосылкам и деятельности, которые должны существовать для её достижения, вместе с допущениями, связывающими каждое звено. Она строится, начиная с желаемого результата и задавая вопрос «что должно быть истинным непосредственно перед этим, чтобы это произошло?», повторяя его, пока не дойдёте до деятельности, которую действительно можете реализовать, — что представляет собой обратное направление по сравнению с логической моделью, и именно поэтому эти два инструмента дополняют друг друга, а не взаимозаменяемы.

Почему это важно

Метод обратного картирования был формализован Центром теории изменений (Center for Theory of Change) и ActKnowledge, опираясь на работу оценщика Кэрол Вайсс о том, чтобы делать допущения программы явными, чтобы их можно было проверить, а не принимать на веру. Британская оценка грантов напрямую впитала это: «Magenta Book» казначейства Великобритании (HM Treasury) рассматривает теорию изменений как отправную точку для дизайна любой оценки, а такие доноры, как National Lottery Community Fund, требуют от заявителей сформулировать её, прежде чем профинансировать предложение. Причина, по которой это важно для инженера программного обеспечения, в том, что теория изменений — это документ, который должен определять, что нужно измерять вашей системе: если причинная цепочка гласит «охват пособиями зависит от получения заявителями персонализированного расчёта», это проверяемое утверждение, которое ваш продукт может инструментировать, чтобы подтвердить или опровергнуть его.

Математика

Теория изменений структурна, а не числова. Каждое звено должно нести и допущение, и показатель, способный показать, что допущение ложно:

Long-term outcome (the goal)
  ↑ precondition + assumption + indicator
Intermediate outcome N
  ↑ precondition + assumption + indicator
  ...
Intermediate outcome 1
  ↑ precondition + assumption + indicator
Activities / interventions
  ↑ resources committed
Inputs

Эта структура напрямую питает методы оценки влияния, существующие для проверки того, действительно ли выполняются допущения в каждом звене, и контрфактический анализ, проверяющий, произошёл бы долгосрочный результат в любом случае.

Практический пример

Орган местного самоуправления (предотвращение бездомности): долгосрочный результат — устойчивая аренда жилья через 12 месяцев для домохозяйств, находящихся под риском выселения.

  • Предпосылка: у домохозяйств есть реалистичный, доступный план погашения задолженности. Допущение: планы, согласованные с сотрудником, более устойчивы, чем предписанные судом. Показатель: % планов, всё ещё действующих через 6 месяцев.
  • Предпосылка: домохозяйства заявляют пособия, на которые имеют право. Допущение: цифровой калькулятор пособий увеличивает корректность заявлений по сравнению с бумажными формами. Показатель: показатель точности заявлений, сравниваемый до/после внедрения инструмента.
  • Деятельность: сортировка сотрудником, цифровой калькулятор пособий, переговоры по задолженности.

В пилотной когорте из 120 домохозяйств допущение о калькуляторе пособий подтвердилось для 102 домохозяйств (85%), которые впоследствии заявили пособия корректно, что подтверждено последующей оценкой процесса, — дав команде программы доказательство именно по этому звену, а не единое заявление «от начала до конца» о предотвращённой бездомности.

Благотворительная организация (наставничество молодёжи): долгосрочный результат — снижение отчислений из школы. Предпосылки в обратном картировании: улучшенная эмоциональная регуляция → доверительные индивидуальные отношения с наставником → постоянный еженедельный контакт на протяжении двух семестров. Теория явно указывает, что отсутствие предпосылки «постоянный еженедельный контакт» (скажем, из-за текучести наставников) предсказывает, что результат не последует, — это проверяемое, опровержимое утверждение, а не надежда.

Связь с разработкой программного обеспечения

Теория изменений должна формировать модель данных продукта ещё до построения хотя бы одной панели показателей: определите, какие звенья нуждаются в показателе, и инструментируйте именно их, а не по умолчанию то, что легче всего логировать. Она также дисциплинирует разговоры о дорожной карте — функция, не отображающаяся ни на одно звено цепочки, явно не стоит того, чтобы её строить. См. логическую модель о обращённой вперёд цепочке подотчётности, построенной после согласования теории, социальную отдачу от инвестиций — метод, зависящий от теории изменений для определения охвата оцениваемых результатов, и результаты и выпуски о различии, от которого зависят звенья промежуточных результатов.

Подводные камни

  • Смешение её с логической моделью. Теория изменений причинна и объяснительна (почему мы верим, что это работает); логическая модель последовательна и описательна (что происходит в каком порядке). Создание только одной из них оставляет пробел либо в «почему», либо в цепочке подотчётности.
  • Оставление допущений неявными. Вся ценность обратного картирования — в выявлении проверяемых допущений; теория изменений, лишь перечисляющая блоки и стрелки без указания, что могло бы сделать каждое звено ложным, — это украшение.
  • Построение её один раз и откладывание на полку. Теория изменений, написанная для заявки на финансирование и никогда не пересматриваемая, перестаёт быть полезной в тот момент, когда доказательства начинают противоречить какому-либо звену.
  • Пропуск участия заинтересованных сторон. Теория изменений, построенная целиком заказчиками без участия линейного персонала или благополучателей, имеет тенденцию закреплять допущения, в которые никто, реально оказывающий услугу, на самом деле не верит.

Источники