Тема 18 из 64· Социальная ценность и измерение воздействия
Теория изменений (Theory of Change)
Теория изменений — это явный, выстроенный в обратном направлении причинный путь от долгосрочной цели к предпосылкам и деятельности, которые должны существовать для её достижения, вместе с допущениями, связывающими каждое звено. Она строится, начиная с желаемого результата и задавая вопрос «что должно быть истинным непосредственно перед этим, чтобы это произошло?», повторяя его, пока не дойдёте до деятельности, которую действительно можете реализовать, — что представляет собой обратное направление по сравнению с логической моделью, и именно поэтому эти два инструмента дополняют друг друга, а не взаимозаменяемы.
Почему это важно
Метод обратного картирования был формализован Центром теории изменений (Center for Theory of Change) и ActKnowledge, опираясь на работу оценщика Кэрол Вайсс о том, чтобы делать допущения программы явными, чтобы их можно было проверить, а не принимать на веру. Британская оценка грантов напрямую впитала это: «Magenta Book» казначейства Великобритании (HM Treasury) рассматривает теорию изменений как отправную точку для дизайна любой оценки, а такие доноры, как National Lottery Community Fund, требуют от заявителей сформулировать её, прежде чем профинансировать предложение. Причина, по которой это важно для инженера программного обеспечения, в том, что теория изменений — это документ, который должен определять, что нужно измерять вашей системе: если причинная цепочка гласит «охват пособиями зависит от получения заявителями персонализированного расчёта», это проверяемое утверждение, которое ваш продукт может инструментировать, чтобы подтвердить или опровергнуть его.
Математика
Теория изменений структурна, а не числова. Каждое звено должно нести и допущение, и показатель, способный показать, что допущение ложно:
Long-term outcome (the goal)
↑ precondition + assumption + indicator
Intermediate outcome N
↑ precondition + assumption + indicator
...
Intermediate outcome 1
↑ precondition + assumption + indicator
Activities / interventions
↑ resources committed
Inputs
Эта структура напрямую питает методы оценки влияния, существующие для проверки того, действительно ли выполняются допущения в каждом звене, и контрфактический анализ, проверяющий, произошёл бы долгосрочный результат в любом случае.
Практический пример
Орган местного самоуправления (предотвращение бездомности): долгосрочный результат — устойчивая аренда жилья через 12 месяцев для домохозяйств, находящихся под риском выселения.
- Предпосылка: у домохозяйств есть реалистичный, доступный план погашения задолженности. Допущение: планы, согласованные с сотрудником, более устойчивы, чем предписанные судом. Показатель: % планов, всё ещё действующих через 6 месяцев.
- Предпосылка: домохозяйства заявляют пособия, на которые имеют право. Допущение: цифровой калькулятор пособий увеличивает корректность заявлений по сравнению с бумажными формами. Показатель: показатель точности заявлений, сравниваемый до/после внедрения инструмента.
- Деятельность: сортировка сотрудником, цифровой калькулятор пособий, переговоры по задолженности.
В пилотной когорте из 120 домохозяйств допущение о калькуляторе пособий подтвердилось для 102 домохозяйств (85%), которые впоследствии заявили пособия корректно, что подтверждено последующей оценкой процесса, — дав команде программы доказательство именно по этому звену, а не единое заявление «от начала до конца» о предотвращённой бездомности.
Благотворительная организация (наставничество молодёжи): долгосрочный результат — снижение отчислений из школы. Предпосылки в обратном картировании: улучшенная эмоциональная регуляция → доверительные индивидуальные отношения с наставником → постоянный еженедельный контакт на протяжении двух семестров. Теория явно указывает, что отсутствие предпосылки «постоянный еженедельный контакт» (скажем, из-за текучести наставников) предсказывает, что результат не последует, — это проверяемое, опровержимое утверждение, а не надежда.
Связь с разработкой программного обеспечения
Теория изменений должна формировать модель данных продукта ещё до построения хотя бы одной панели показателей: определите, какие звенья нуждаются в показателе, и инструментируйте именно их, а не по умолчанию то, что легче всего логировать. Она также дисциплинирует разговоры о дорожной карте — функция, не отображающаяся ни на одно звено цепочки, явно не стоит того, чтобы её строить. См. логическую модель о обращённой вперёд цепочке подотчётности, построенной после согласования теории, социальную отдачу от инвестиций — метод, зависящий от теории изменений для определения охвата оцениваемых результатов, и результаты и выпуски о различии, от которого зависят звенья промежуточных результатов.
Подводные камни
- Смешение её с логической моделью. Теория изменений причинна и объяснительна (почему мы верим, что это работает); логическая модель последовательна и описательна (что происходит в каком порядке). Создание только одной из них оставляет пробел либо в «почему», либо в цепочке подотчётности.
- Оставление допущений неявными. Вся ценность обратного картирования — в выявлении проверяемых допущений; теория изменений, лишь перечисляющая блоки и стрелки без указания, что могло бы сделать каждое звено ложным, — это украшение.
- Построение её один раз и откладывание на полку. Теория изменений, написанная для заявки на финансирование и никогда не пересматриваемая, перестаёт быть полезной в тот момент, когда доказательства начинают противоречить какому-либо звену.
- Пропуск участия заинтересованных сторон. Теория изменений, построенная целиком заказчиками без участия линейного персонала или благополучателей, имеет тенденцию закреплять допущения, в которые никто, реально оказывающий услугу, на самом деле не верит.
Источники
- Center for Theory of Change. https://www.theoryofchange.org/
- ActKnowledge. https://www.actknowledge.org/
- HM Treasury, Magenta Book (2020), Chapter 3. https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, theory of change guidance. https://www.tnlcommunityfund.org.uk/