Тема 8 із 64· Основи публічної цінності
Контрфактичний аналіз
Контрфактичне (counterfactual) — це оцінка того, що сталося б за відсутності втручання. Без нього спостережувану зміну після запуску програми не можна відрізнити від зміни, яка настала б і так, — немає контрфактичного, немає доказу ефекту, якими б переконливими не здавалися цифри «до й після». Magenta Book HM Treasury вважає побудову достовірного контрфактичного центральним методологічним завданням оцінювання впливу, важливішим за будь-який інший окремий вибір дизайну.
Чому це важливо
«Злочинність впала на 15% у рік після запровадження програми» — не доказ того, що програма спрацювала, доки ви не знаєте, що сталося б зі злочинністю без неї: злочинність могла впасти на 20% і так через не пов'язані економічні чи демографічні тенденції, що означало б, що програма насправді погіршила ситуацію відносно контрфактичного, попри покращення сирого числа. Це найпоширеніша аналітична помилка в заявах про вплив публічного та соціального сектору: сприйняття порівняння до/після за доказ причинності. Magenta Book чітко стверджує, що оцінювання впливу існує, щоб відповісти на контрфактичне питання — «яку різницю справило це втручання?» — і що відповідь вимагає оцінювання, а не лише опису світу, якого не сталося.
Різні методи будують контрфактичне з різним ступенем упевненості, і урядові настанови з оцінювання ранжують їх відповідно. Рандомізовані контрольовані дослідження (RCT), де особи чи території випадково призначаються на отримання втручання чи ні, дають найсильніше контрфактичне, бо рандомізація гарантує, що групи лікування та контролю відрізняються, у середньому, лише отриманням втручання. Cabinet Office і What Works Network просувають RCT у британській публічній політиці від звіту Behavioural Insights Team «Test, Learn, Adapt» 2012 року саме тому, що слабші дизайни вразливі до змішування — спостережена різниця може відображати те, хто вирішив брати участь, а не ефект програми. Де рандомізація непрактична чи неетична (як часто для програм із законодавчим правом чи змін політики для всього населення), Magenta Book викладає чітку ієрархію слабших, але все ще корисних альтернатив: підібрані групи порівняння, дизайни різниці різниць, розрив регресії навколо порогів прийнятності та, як останній засіб, просте порівняння до/після — чітко позначене як найслабша форма доказу, схильна змішувати ефект програми з ефектом усього іншого, що змінилося водночас.
Математика
Контрфактична рамка, застосовна до всіх методів:
Оцінений вплив = Результат(з втручанням) − Результат(контрфактичне: без втручання)
НЕ:
Оцінений вплив ≠ Результат(після) − Результат(до) [змішує час із лікуванням]
Різниця різниць, один із найпоширеніших квазіекспериментальних дизайнів в урядовому оцінюванні, виокремлює ефект лікування відніманням власної зміни до/після групи порівняння:
Оцінка DiD = [Результат(лікувані, після) − Результат(лікувані, до)]
− [Результат(порівняння, після) − Результат(порівняння, до)]
Це усуває будь-яку тенденцію, спільну для обох груп (напр. національний економічний зсув, що впливає на всіх), залишаючи лише диференційну зміну, що приписується втручанню.
Робочий приклад
Програма зайнятості, до/після (слабкий дизайн): схема підтримки працевлаштування повідомляє, що зайнятість учасників зросла з 40% до 55% за рік — наївний висновок «+15 процентних пунктів завдяки програмі».
Та сама програма, різниця різниць (сильніший дизайн): підібрана група порівняння подібних неучасників із того самого місцевого ринку праці показує зростання зайнятості з 38% до 47% за той самий рік (тривало національне економічне відновлення).
Зміна групи лікування: 55% − 40% = +15 процентних пунктів
Зміна групи порівняння: 47% − 38% = +9 процентних пунктів
Оцінка DiD (справжній ефект програми) = 15 − 9 = +6 процентних пунктів
Чесний приписуваний ефект — 6 процентних пунктів, а не 15 — понад половина позірного покращення до/після сталася б незалежно від програми, зумовлена тим самим економічним відновленням, що підняло групу порівняння.
Розрив регресії, поріг прийнятності: грантова схема доступна лише підприємствам із менш ніж 50 працівниками. Порівняння результатів підприємств трохи нижче порогу (45–49 працівників, прийнятні) з підприємствами трохи вище (50–54 працівники, неприйнятні) дає достовірне контрфактичне, бо підприємства з обох боків довільної адміністративної межі в іншому подібні — прийнятність визначає поріг, а не якась лежача в основі характеристика підприємства. Середня різниця результатів 2000 £ між двома групами, спостережена лише на порозі, приписується гранту з набагато більшою впевненістю, ніж просте порівняння всіх прийнятних і всіх неприйнятних підприємств (які системно відрізняються за розміром).
Зв'язок з програмною інженерією
Контрфактичне мислення має формувати те, як проєктуються системи відстеження впливу та конвеєри оцінювання для урядового та соціального програмного забезпечення:
- Вбудовуйте фіксацію групи порівняння в систему від самого початку — записуючи, хто був прийнятним, але не зареєструвався, або підібрану когорту неучасників, — замість дозбудовування після того, як програма вже працювала і є лише дані до/після.
- Де рандомізація можлива (поетапне розгортання, цифрова послуга, увімкнена для одних користувачів раніше за інших), оснащуйте систему так, щоб зберігати випадкове призначення як поле, доступне для запитів; поетапне розгортання випадково руйнує власну цінність для оцінювання, якщо порядок призначення не журналюється.
- Це фундаментальний метод, що стоїть за методами оцінювання впливу, і саме він відрізняє їх від оцінювання впливу проти оцінювання процесу, з яких останнє питає, чи програму надано як задумано, а не чи спричинила вона ефект.
- Додатковість і мертвий вантаж та витіснення й атрибуція — обидва в основі контрфактичні питання — мертвий вантаж це «яким був би цей конкретний результат без втручання», застосоване на рівні поправки, а не повного дизайну оцінювання.
Пастки
- Вважати до/після доказом причинності. Це найпоширеніша й найвагоміша помилка у звітності про вплив публічного та соціального сектору; зміна до/після змішує ефект програми з усім іншим, що змінилося за той самий період.
- Використання групи порівняння, що системно відрізняється від групи лікування. Підібрана група порівняння має бути справді подібною за релевантними характеристиками (див. ієрархію методів у Magenta Book для контрфактичного аналізу); порівняння учасників програми (які зголосилися й часто мотивованіші) з неучасниками (які ні) ризикує тим, що упередження відбору маскуватиметься під ефект програми.
- Руйнування можливостей рандомізації поганим дизайном надання. Поетапне чи рандомізоване розгортання зберігає цінність для оцінювання лише якщо призначення справді випадкове й записане — дозвіл місцевим керівникам обирати, хто йде першим, нищить мету.
- Перебільшення точності зі слабкого дизайну. Оцінку до/після слід подавати як орієнтовну, а не як виміряний розмір ефекту; ієрархія доказів Magenta Book існує, щоб сила заяви відповідала силі дизайну, що її породив.
Джерела
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
- Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
- What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
- Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).