Тема 8 из 64· Основы общественной ценности
Контрфактический анализ
Контрфактический сценарий — это оценка того, что произошло бы в отсутствие вмешательства. Без него наблюдаемое изменение после запуска программы невозможно отличить от изменения, которое произошло бы в любом случае, — нет контрфактического сценария, нет и доказательства эффекта, какими бы убедительными ни выглядели цифры «до и после». «Magenta Book» казначейства Великобритании (HM Treasury) рассматривает построение достоверного контрфактического сценария как центральную методологическую задачу оценки влияния, более важную, чем любой другой отдельный выбор в дизайне исследования.
Почему это важно
«Преступность снизилась на 15% в год после запуска программы» — не доказательство того, что программа сработала, если неизвестно, что произошло бы с преступностью без неё: преступность могла бы снизиться на 20% в любом случае из-за не связанных с программой экономических или демографических трендов, а значит, программа на самом деле ухудшила ситуацию относительно контрфактического сценария, несмотря на улучшение сырой цифры. Это самая распространённая аналитическая ошибка в заявлениях о влиянии государственного и некоммерческого секторов: принятие сравнения «до/после» за доказательство причинности. «Magenta Book» прямо утверждает, что оценка влияния существует для ответа на контрфактический вопрос — «какую разницу внесло это вмешательство?» — и что ответ на него требует оценки, а не просто описания того мира, который не наступил.
Разные методы строят контрфактический сценарий с разной степенью достоверности, и методические рекомендации государственной оценки ранжируют их соответственно. Рандомизированные контролируемые испытания (РКИ), при которых люди или территории случайным образом распределяются на получающих вмешательство и не получающих его, дают самый надёжный контрфактический сценарий, потому что рандомизация гарантирует, что группы вмешательства и контроля в среднем отличаются только получением самого вмешательства. Кабинет министров и сеть What Works продвигают РКИ в британской государственной политике с 2012 года, со времён отчёта «Test, Learn, Adapt» Команды поведенческих инсайтов (Behavioural Insights Team), именно потому, что более слабые схемы уязвимы к смешиванию факторов — наблюдаемая разница может отражать то, кто выбрал участвовать, а не эффект программы. Там, где рандомизация непрактична или неэтична (как часто бывает для программ с установленным законом правом на получение помощи или для изменений политики на весь охват населения), «Magenta Book» устанавливает явную иерархию более слабых, но всё же полезных альтернатив: сопоставленные контрольные группы, схемы «разность разностей» (difference-in-differences), регрессионный разрыв вокруг пороговых значений права на получение помощи и, в качестве крайней меры, простое сравнение «до/после» — прямо обозначенное как самая слабая форма доказательства, склонная путать эффект программы с эффектом всего остального, что изменилось за тот же период.
Математика
Контрфактическая формулировка, применимая ко всем методам:
Estimated impact = Outcome(with intervention) − Outcome(counterfactual: without intervention)
NOT:
Estimated impact ≠ Outcome(after) − Outcome(before) [confounds time with treatment]
Метод «разность разностей», одна из наиболее распространённых квазиэкспериментальных схем в государственной оценке, выделяет эффект вмешательства путём вычитания собственного изменения контрольной группы «до/после»:
DiD estimate = [Outcome(treated, after) − Outcome(treated, before)]
− [Outcome(comparison, after) − Outcome(comparison, before)]
Это устраняет любой тренд, общий для обеих групп (например, общенациональный экономический сдвиг, затрагивающий всех), оставляя только дифференциальное изменение, относимое на счёт вмешательства.
Практический пример
Программа содействия занятости, «до/после» (слабая схема): программа поддержки трудоустройства сообщает, что занятость участников выросла с 40% до 55% за год — наивный вывод «+15 процентных пунктов благодаря программе».
Та же программа, «разность разностей» (более надёжная схема): сопоставленная контрольная группа схожих неучастников с того же местного рынка труда показывает рост занятости с 38% до 47% за тот же год (в это время шло общенациональное экономическое восстановление).
Treated group change: 55% − 40% = +15 percentage points
Comparison group change: 47% − 38% = +9 percentage points
DiD estimate (true programme effect) = 15 − 9 = +6 percentage points
Честный относимый на счёт программы эффект составляет 6 процентных пунктов, а не 15 — более половины видимого улучшения «до/после» произошло бы в любом случае, за счёт того же экономического восстановления, поднявшего и контрольную группу.
Регрессионный разрыв, порог права на получение помощи: грантовая схема доступна только предприятиям с числом сотрудников менее 50. Сравнение результатов предприятий чуть ниже порога (45–49 сотрудников, имеющих право) с предприятиями чуть выше него (50–54 сотрудника, не имеющих права) даёт достоверный контрфактический сценарий, потому что предприятия по обе стороны произвольного административного порога в остальном схожи — именно порог, а не какая-либо базовая характеристика бизнеса, определяет право на получение помощи. Средняя разница в результате в 2000 £ между двумя группами, наблюдаемая только у порога, относится на счёт гранта с гораздо большей уверенностью, чем простое сравнение всех имеющих право со всеми не имеющими права (которые систематически различаются по размеру).
Связь с разработкой программного обеспечения
Контрфактическое мышление должно определять проектирование систем отслеживания влияния и конвейеров оценки для государственного и социального программного обеспечения:
- Встраивайте захват контрольной группы в систему с самого начала — фиксируя, кто имел право, но не был зачислен, или сопоставленную когорту неучастников, — а не добавляйте это постфактум, после того как программа уже отработала и существуют только данные «до/после».
- Там, где рандомизация практически осуществима (поэтапное внедрение, цифровая услуга, включённая для одних пользователей раньше, чем для других), инструментируйте систему для сохранения случайного распределения как запрашиваемого поля; поэтапное внедрение случайно уничтожает собственную ценность для оценки, если порядок распределения не логируется.
- Это фундаментальный метод, лежащий в основе методов оценки влияния, и именно он отличает её от оценки влияния в противовес оценке процесса, которая спрашивает, была ли программа реализована так, как задумано, а не вызвала ли она эффект.
- Дополнительность и «мёртвый груз» и вытеснение и атрибуция — оба, по своей сути, контрфактические вопросы: «мёртвый груз» — это «каким был бы этот конкретный результат без вмешательства», применённый на уровне поправки, а не полного дизайна оценки.
Подводные камни
- Восприятие сравнения «до/после» как доказательства причинности. Это самая распространённая и наиболее значимая по последствиям ошибка в отчётности о влиянии государственного и социального секторов; изменение «до/после» смешивает эффект программы со всем остальным, что изменилось за тот же период.
- Использование контрольной группы, систематически отличающейся от группы вмешательства. Сопоставленная контрольная группа должна быть действительно схожей по релевантным характеристикам (см. иерархию методов контрфактического анализа в «Magenta Book»); сравнение участников программы (которые выбрали участие и часто более мотивированы) с неучастниками (которые не выбрали) рискует замаскировать смещение отбора под эффект программы.
- Уничтожение возможностей для рандомизации из-за плохого дизайна реализации. Поэтапное или рандомизированное внедрение сохраняет свою ценность для оценки, только если распределение действительно случайно и зафиксировано, — позволение местным руководителям выбирать, кто идёт первым, сводит на нет саму цель.
- Завышение точности слабой схемы. Оценку «до/после» следует представлять как ориентировочную, а не как измеренный размер эффекта; иерархия доказательств «Magenta Book» существует именно для того, чтобы сила заявления соответствовала силе схемы, которая его произвела.
Источники
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
- Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
- What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
- Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).