Тема 23 із 64· Соціальна цінність і вимірювання впливу
Методи оцінювання впливу
Методи оцінювання впливу — це статистичні та експериментальні дизайни, що використовуються для оцінки того, що політика чи програма насправді спричинила, на відміну від того, що сталося б і так, — рандомізовані контрольовані дослідження (RCT), різниця різниць, зіставлення за схильністю та дизайн розриву регресії — чотири найчастіше вживані у британській публічній політиці. Вони існують, бо більшість урядових втручань неможливо перевірити в лабораторії: не можна випадково обрати, яке місто отримає новий автобусний маршрут, так, як можна випадково обрати, який пацієнт отримає ліки, тож ці методи позичають ту саму причинну логіку, не завжди потребуючи випадкового призначення.
Чому це важливо
Magenta Book HM Treasury, Додаток A про квазіекспериментальні методи, — канонічні настанови британського уряду щодо вибору між цими дизайнами, а такі органи, як Education Endowment Foundation і What Works Centre for Local Economic Growth, інституціоналізують ієрархію доказів, побудовану навколо них, — RCT там, де рандомізація здійсненна й етична, квазіекспериментальні дизайни там, де ні. Вибір методу — не технічна післямова: він визначає, чи може оцінювання відповісти на «чи спричинила це програма?», чи лише на «чи це сталося після початку програми?», що є тим самим питанням, яке контрфактичний аналіз створено, щоб змусити практиків поставити його до замовлення будь-якого оцінювання.
Математика
RCT:
Вплив = середнє(результат | група лікування) − середнє(результат | контрольна група)
(чинне, бо призначення на лікування випадкове)
Різниця різниць (DiD):
Вплив = [результат_після(лікувані) − результат_до(лікувані)]
− [результат_після(контроль) − результат_до(контроль)]
(потребує припущення «паралельних трендів»: лікувані й контроль рухалися б разом
за відсутності втручання)
Зіставлення за схильністю (PSM):
1. Оцініть P(лікування = 1 | супутні змінні X) для кожної одиниці → оцінка схильності
2. Зіставте лікувані одиниці з нелікуваними з подібними оцінками схильності
3. Вплив = середнє(результат | лікувані) − середнє(результат | зіставлений контроль)
Дизайн розриву регресії (RDD):
Вплив = стрибок результату, спостережений на порозі прийнятності,
порівнюючи одиниці трохи вище й трохи нижче за відсічку
Робочий приклад
Місцева влада (різниця різниць для програми для сімей у скруті): результат — відвідуваність школи. Місцевість лікування переходить від 84% до 89% відвідуваності (+5 процентних пунктів) за період програми; порівнянна, але нелікувана місцевість переходить від 85% до 87% (+2 процентні пункти) за той самий період. Оцінка впливу DiD: 5 − 2 = +3 процентні пункти, що приписуються програмі. Застосовано до когорти 2000 учнів у місцевості лікування, це узгоджується з приблизно 60 додатковими учнями (3% × 2000), що досягають вищої категорії відвідуваності, екстраполяція, яку слід повідомляти із застереженням про паралельні тренди, а не як точну кількість осіб.
Благодійна організація (зіставлення за схильністю для благодійної організації з працевлаштовуваності): 300 учасників програми зіставляються з 300 особами з більшого адміністративного набору даних за оцінками схильності, побудованими з віку, попередньої історії зайнятості та рівня кваліфікації. Дванадцятимісячний рівень зайнятості: зіставлена група лікування 46%, зіставлена група порівняння 33%. Оцінка впливу PSM: 46% − 33% = +13 процентних пунктів, що приписуються програмі, за умови відсутності неспостережуваного змішувального чинника (як-от мотивація), що рухає і участь, і результат.
Зв'язок з програмною інженерією
Чи буде будь-який із цих дизайнів здійсненним пізніше, значною мірою залежить від рішень з інженерії даних, ухвалених рано. RDD потребує точно записаної біжучої змінної та справді чистої відсічки прийнятності; DiD потребує порівнянних панельних даних у часі як для місцевостей лікування, так і порівняння, що означає послідовні з'єднання між системами та роками; PSM потребує багатих базових даних про супутні змінні, зібраних до лікування, а не відтворених потім. Модель даних, спроєктована разом із теорією змін та логічною моделлю від початку — що фіксує базові супутні змінні, дати й записи, придатні для групи порівняння, — це те, що робить можливим ретельне оцінювання впливу пізніше, замість дорогого постфактум авралу. Див. оцінювання впливу проти оцінювання процесу щодо доповнюючого питання, на яке ці методи самі не відповідають.
Пастки
- Нав'язування RCT там, де недоцільно чи неетично, або навпаки, ніколи не розглядати квазіекспериментальний дизайн, коли справжня можливість для нього — відсічка політики, поетапне розгортання — була доступна й невикористана.
- Ігнорування припущення про паралельні тренди в DiD. Якщо місцевість порівняння вже розходилася з місцевістю лікування до втручання, двоточкове порівняння забруднене; перевіряйте попередні тренди, а не лише до/після.
- Зіставлення лише за спостережуваними супутніми змінними в PSM. Неспостережуваний відбір, як-от мотивація учасників, може зміщувати оцінку, навіть коли спостережувані змінні добре збалансовані.
- Маніпуляція біжучою змінною в RDD. Якщо люди можуть впливати на свій бал, щоб потрапити саме в межі порогу прийнятності, розрив більше не ізолює причинний ефект.
Джерела
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/