Тема 23 из 64· Социальная ценность и измерение воздействия
Методы оценки влияния
Методы оценки влияния — это статистические и экспериментальные схемы, используемые для оценки того, что именно вызвала политика или программа, в отличие от того, что произошло бы в любом случае, — рандомизированные контролируемые испытания (РКИ), «разность разностей» (difference-in-differences), сопоставление по показателю склонности (propensity score matching) и дизайн регрессионного разрыва (regression discontinuity design) — четыре наиболее часто используемых метода в британской государственной политике. Они существуют потому, что большинство государственных вмешательств нельзя проверить в лаборатории: нельзя рандомизировать, какому городу достанется новый автобусный маршрут, так же как рандомизируют, какой пациент получит лекарство, поэтому эти методы заимствуют ту же причинную логику, не всегда требуя случайного распределения.
Почему это важно
Приложение A «Magenta Book» казначейства Великобритании (HM Treasury) о квазиэкспериментальных методах — каноническое руководство правительства Великобритании по выбору между этими схемами, а такие организации, как Education Endowment Foundation и What Works Centre for Local Economic Growth, институционализируют вокруг них иерархию доказательств — РКИ там, где рандомизация осуществима и этична, квазиэкспериментальные схемы там, где это не так. Выбор метода — не техническая деталь: он определяет, может ли оценка ответить на вопрос «вызвала ли это программа?» или только «произошло ли это после начала программы?» — тот же вопрос, задавать который практикам до заказа любой оценки призван контрфактический анализ.
Математика
RCT:
Impact = mean(outcome | treatment group) − mean(outcome | control group)
(valid because assignment to treatment is random)
Difference-in-differences (DiD):
Impact = [outcome_after(treated) − outcome_before(treated)]
− [outcome_after(control) − outcome_before(control)]
(requires a "parallel trends" assumption: treated and control would have moved together
absent the intervention)
Propensity score matching (PSM):
1. Estimate P(treatment = 1 | covariates X) for every unit → propensity score
2. Match treated units to untreated units with similar propensity scores
3. Impact = mean(outcome | treated) − mean(outcome | matched control)
Regression discontinuity design (RDD):
Impact = jump in outcome observed at the eligibility threshold,
comparing units just above vs just below the cutoff
Практический пример
Орган местного самоуправления («разность разностей» для программы работы с неблагополучными семьями): результат — посещаемость школы. В зоне вмешательства посещаемость выросла с 84% до 89% (+5 процентных пунктов) за период программы; в сопоставимой, но не охваченной программой зоне посещаемость выросла с 85% до 87% (+2 процентных пункта) за тот же период. Оценка эффекта методом «разность разностей»: 5 − 2 = +3 процентных пункта, относимых на счёт программы. Применительно к когорте из 2000 учеников в зоне вмешательства это согласуется примерно с 60 дополнительными учениками (3% × 2000), достигшими более высокой категории посещаемости, — экстраполяция, которую следует представлять с оговоркой о параллельных трендах, а не как точный подсчёт.
Благотворительная организация (сопоставление по показателю склонности для благотворительной организации содействия трудоустройству): 300 участников программы сопоставлены с 300 людьми из более крупного административного набора данных с использованием показателей склонности, построенных на основе возраста, истории предыдущей занятости и уровня квалификации. Показатель занятости через двенадцать месяцев: сопоставленная группа вмешательства — 46%, сопоставленная контрольная группа — 33%. Оценка эффекта методом PSM: 46% − 33% = +13 процентных пунктов, относимых на счёт программы, при условии отсутствия ненаблюдаемого смешивающего фактора (например, мотивации), одновременно влияющего и на участие, и на результат.
Связь с разработкой программного обеспечения
Возможность применить любую из этих схем позже сильно зависит от решений по инженерии данных, принятых на раннем этапе. RDD нуждается в точно зафиксированной непрерывной переменной и подлинно чистом пороге права на получение помощи; DiD нуждается в сопоставимых панельных данных во времени как для зон вмешательства, так и для сравнительных зон, что означает согласованные соединения между системами и годами; PSM нуждается в богатых базовых данных о сопутствующих переменных, зафиксированных до вмешательства, а не восстановленных постфактум. Модель данных, спроектированная с самого начала наряду с теорией изменений и логической моделью — фиксирующая базовые сопутствующие переменные, даты и записи, подходящие для контрольной группы, — это то, что делает возможной строгую оценку влияния позже, вместо дорогостоящей постфактумной спешки. См. оценку влияния в противовес оценке процесса о дополнительном вопросе, на который эти методы сами по себе не отвечают.
Подводные камни
- Навязывание РКИ там, где оно неосуществимо или неэтично, или, наоборот, полное неучитывание квазиэкспериментальной схемы, когда подлинная возможность для неё — политический порог, поэтапное внедрение — была доступна и не использована.
- Игнорирование допущения о параллельных трендах в DiD. Если сравнительная зона уже расходилась с зоной вмешательства до вмешательства, сравнение двух точек искажено; проверяйте предшествующие тренды, а не только «до/после».
- Сопоставление только по наблюдаемым сопутствующим переменным в PSM. Ненаблюдаемый отбор, например мотивация участников, может искажать оценку даже при хорошо сбалансированных наблюдаемых сопутствующих переменных.
- Манипуляция непрерывной переменной в RDD. Если люди могут влиять на свой показатель так, чтобы он попадал чуть выше порога права на получение помощи, разрыв больше не выделяет причинный эффект.
Источники
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/