Тема 8 от 64· Основи на публичната стойност

Контрафактуален анализ

Контрафактуалният сценарий е оценка на онова, което би се случило при отсъствие на интервенцията. Без него наблюдаваната промяна след пускането на една програма не може да се отличи от промяна, която би настъпила така или иначе — няма контрафактуален сценарий, няма доказателство за ефект, колкото и убедително да изглеждат числата преди и след. Magenta Book на HM Treasury третира построяването на достоверен контрафактуален сценарий като централната методологична задача на оценката на въздействието, по-важна от всеки друг единичен избор на дизайн.

Защо е важно

„Престъпността спадна с 15% през годината след въвеждането на програмата“ не е доказателство, че програмата е работила, освен ако не знаете какво би се случило с престъпността без нея — престъпността може да е спаднала с 20% така или иначе поради несвързани икономически или демографски тенденции, което означава, че програмата всъщност е влошила нещата спрямо контрафактуалния сценарий, макар суровото число да се е подобрило. Това е най-честата аналитична грешка в твърденията за въздействие в публичния и социалния сектор: бъркане на сравнение преди/след с доказателство за причинност. Magenta Book е изричен, че оценката на въздействието съществува, за да отговори на контрафактуален въпрос — „каква разлика направи тази интервенция?“ — и че отговорът изисква оценяване, а не просто описване, на света, който не се е случил.

Различните методи построяват контрафактуалния сценарий с различна степен на увереност, а насоките за държавна оценка ги класират съответно. Рандомизираните контролирани изпитвания (RCT), при които лица или области се разпределят на случаен принцип да получат интервенцията или не, създават най-силния контрафактуален сценарий, защото рандомизацията гарантира, че групите на лечение и на контрол се различават, средно, само по получаването на интервенцията. Cabinet Office и What Works Network насърчават RCT в британската публична политика от доклада „Test, Learn, Adapt“ на Behavioural Insights Team от 2012 г., именно защото по-слабите дизайни са уязвими към объркващи фактори — наблюдаваната разлика може да отразява кой е избрал да участва, а не ефекта на програмата. Където рандомизацията е непрактична или неетична (както често е при програми със законово право или при промени в политиката за цялото население), Magenta Book излага изрична йерархия на по-слаби, но все пак полезни алтернативи: съпоставени сравнителни групи, дизайни „разлика в разликите“, регресионна прекъснатост около прагове на допустимост и, като последна възможност, просто сравнение преди/след — ясно отбелязано като най-слабата форма на доказателство, склонна да бърка ефекта на програмата с ефекта на всичко останало, което се е променило по същото време.

Математиката

Контрафактуалната рамка, приложима за всички методи:

Оценено въздействие = Резултат(с интервенция) − Резултат(контрафактуален: без интервенция)

НЕ:
Оценено въздействие ≠ Резултат(след) − Резултат(преди)   [смесва времето с лечението]

Разликата в разликите (difference-in-differences) — един от най-честите квазиекспериментални дизайни в държавната оценка — изолира ефекта на лечението, като изважда собствената промяна преди/след на сравнителната група:

Оценка по DiD = [Резултат(третирани, след) − Резултат(третирани, преди)]
              − [Резултат(сравнение, след) − Резултат(сравнение, преди)]

Това премахва всяка тенденция, обща за двете групи (напр. национална икономическа промяна, засягаща всички), оставяйки само диференциалната промяна, приписвана на интервенцията.

Практически пример

Програма за заетост, преди/след (слаб дизайн): схема за подкрепа при търсене на работа отчита, че заетостта на участниците е нараснала от 40% на 55% за година — наивното заключение е „+15 процентни пункта поради програмата“.

Същата програма, разлика в разликите (по-силен дизайн): съпоставена сравнителна група от подобни неучастници, взета от същия местен пазар на труда, показва нарастване на заетостта от 38% на 47% за същата година (в ход е национално икономическо възстановяване).

Промяна в третираната група:   55% − 40% = +15 процентни пункта
Промяна в сравнителната група: 47% − 38% = +9 процентни пункта

Оценка по DiD (истински ефект на програмата) = 15 − 9 = +6 процентни пункта

Честно приписваният ефект е 6 процентни пункта, а не 15 — повече от половината от видимото подобрение преди/след би настъпило независимо от програмата, движено от същото икономическо възстановяване, което повдига сравнителната група.

Регресионна прекъснатост, праг на допустимост: схема за помощи е достъпна само за фирми с по-малко от 50 служители. Сравняването на резултатите на фирми точно под прага (45–49 служители, допустими) с фирми точно над него (50–54 служители, недопустими) дава достоверен контрафактуален сценарий, защото фирмите от двете страни на произволна административна граница са иначе сходни — прагът, а не някоя основна характеристика на бизнеса, определя допустимостта. Средна разлика в резултата от £2 000 между двете групи, наблюдавана само на прага, се приписва на помощта с много по-голяма увереност, отколкото простото сравнение на всички допустими с всички недопустими фирми (които се различават систематично по размер).

Връзка със софтуерното инженерство

Контрафактуалното мислене трябва да оформя начина, по който се проектират системите за проследяване на въздействието и конвейерите за оценка за държавния и социалния сектор:

  • Вграждайте улавянето на сравнителна група в системата от самото начало — записване на кой е бил допустим, но не е записан, или съпоставена кохорта от неучастници — вместо добавянето му, след като програмата вече е протекла и съществуват само данни преди/след.
  • Където рандомизацията е осъществима (поетапно внедряване, цифрова услуга, включена за някои потребители преди други), инструментирайте системата така, че да запазва случайното разпределение като поле, по което може да се правят заявки; поетапното внедряване случайно унищожава собствената си стойност за оценка, ако редът на разпределение не е записан.
  • Това е основополагащият метод зад методите за оценка на въздействието и е онова, което го отличава от оценка на въздействието срещу оценка на процеса, последната от които пита дали програмата е доставена както е замислено, а не дали е причинила ефект.
  • Допълняемост и мъртва тежест и изместване и приписване са и двете, в основата си, контрафактуални въпроси — мъртвата тежест е „какъв би бил този конкретен резултат без интервенцията“, приложено на равнището на корекция, а не на пълен дизайн на оценката.

Чести грешки

  • Третиране на преди/след като доказателство за причинност. Това е най-честата и най-значимата грешка в отчитането на въздействието в публичния и социалния сектор; промяната преди/след смесва ефекта на програмата с всяко друго нещо, което се е променило през същия период.
  • Използване на сравнителна група, която се различава систематично от третираната. Съпоставената сравнителна група трябва да е наистина сходна по съответните характеристики (вж. йерархията на методите на контрафактуален анализ в Magenta Book); сравняването на участници в програмата (които са се включили сами и често са по-мотивирани) с неучастници (които не са) рискува пристрастност при подбора да се представи за ефект на програмата.
  • Унищожаване на възможностите за рандомизация чрез лош дизайн на доставката. Поетапно или рандомизирано внедряване запазва стойността си за оценка само ако разпределението е наистина случайно и записано — позволяването на местните ръководители да избират кой да е пръв обезсмисля целта.
  • Преувеличаване на точността от слаб дизайн. Оценка преди/след трябва да се представя като ориентировъчна, а не като измерен размер на ефекта; йерархията на доказателствата в Magenta Book съществува, за да съответства силата на твърдението на силата на дизайна, който го е създал.

Източници

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
  • Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
  • What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
  • Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).