Тема 24 із 64· Соціальна цінність і вимірювання впливу
Оцінювання впливу проти оцінювання процесу
Оцінювання впливу питає, чи програма спричинила заплановані результати. Оцінювання процесу питає, чи програму справді надано, як задумано, — кому, в якій дозі та з якими бар'єрами чи сприяючими чинниками по дорозі. Це різні питання, що потребують різних методів, а Magenta Book HM Treasury вважає замовлення обох разом стандартною практикою, бо слабкий чи нульовий результат оцінювання впливу сам по собі неінтерпретований: він не скаже вам, чи лежача в основі теорія програми була хибною, чи добра теорія просто ніколи не була належним чином реалізована.
Чому це важливо
Урядові оцінювання неодноразово не знаходили вимірного ефекту програми, не маючи оцінювання процесу, яке пояснило б чому, — залишаючи замовників нездатними відрізнити «ця ідея не працює» (відмова теорії) від «цю ідею ніколи насправді не пробували належним чином» (відмова впровадження). Настанови Medical Research Council щодо оцінювання процесу складних втручань, опубліковані в BMJ 2015 року та широко цитовані поряд із Magenta Book, формалізували вірність (fidelity), дозу та охоплення як основні речі, які оцінювання процесу має вимірювати. Замовлення оцінювання впливу без оцінювання процесу ризикує відмовою від справді обґрунтованого дизайну програми, бо його надали половині запланованої популяції з частиною запланованої інтенсивності, — помилка, яку розробник систем добре спроможний запобігти, бо вірність надання — саме те, що операційні системи даних можуть фіксувати майже в реальному часі.
Математика
Оцінювання процесу питає:
- Чи було надано цільовій популяції, у запланованій дозі/інтенсивності?
- Чи відповідало надання дизайну логічної моделі / теорії змін?
- Які бар'єри чи сприяючі чинники вплинули на надання?
Методи: перевірки вірності відносно попередньо визначених порогів, кейси,
інтерв'ю, адміністративні дані про надання.
Оцінювання впливу питає:
- Що змінилося і яка частина цієї зміни приписується програмі?
Методи: RCT, DiD, PSM, RDD — див. impact-evaluation-methods — відносно контрфактичного.
Комбінована діагностика:
Немає ефекту + висока вірність → відмова теорії: сама модель не дала результату
Немає ефекту + низька вірність → відмова впровадження: модель ніколи не була належним чином випробувана
Знайдено ефект + висока вірність → тиражуйте впевнено
Знайдено ефект + низька вірність → досліджуйте далі: ефект може бути крихким або специфічним для місця
Робочий приклад
Місцева влада (програма батьківства): оцінювання впливу з різницею різниць виявляє зміну +2 процентні пункти в мірі добробуту дитини — статистично незначущу. Оцінювання процесу, проведене паралельно, виявляє, що програма охопила лише 210 із 500 цільових сімей (охоплення 42%), а з них лише 95 виконали попередньо визначений поріг вірності 75%+ відвіданих сесій — 19% первісно запланованого охоплення. Висновок: слабкий результат впливу узгоджується з відмовою впровадження, а не доказом того, що модель програми не працює; належна реакція — виправити шлях направлень, що спричинив 58% відсів, а не відмовитися від дизайну програми.
Благодійна організація (програма цифрової грамотності): оцінювання впливу знаходить сильний ефект (+18 процентних пунктів за балом цифрової впевненості), а паралельне оцінювання процесу підтверджує 92% вірності запланованій навчальній програмі на всіх 12 майданчиках надання. Разом фундатор може масштабувати програму впевнено, бо показано, що ефект утримується послідовно, а не є продуктом одного незвично хорошого майданчика.
Зв'язок з програмною інженерією
Дані оцінювання процесу — саме те, що системи надання добре спроможні фіксувати: відвідуваність відносно плану, дозування сесій і відсів на кожному етапі воронки направлень чи реєстрації — та сама аналітика воронки, яку інженери вже будують для продуктових функцій, застосована натомість до конвеєра надання соціальної програми. Передавання метрик вірності й охоплення керівникам програми майже в реальному часі, замість очікування оцінювання наприкінці гранту, дозволяє виправити зламаний шлях направлень посеред програми, а не виявляти його лише після закінчення періоду фінансування. Див. методи оцінювання впливу щодо причинних дизайнів, з якими парується оцінювання процесу, теорію змін та логічну модель щодо дизайну, відносно якого оцінювання процесу перевіряє вірність, та реалізацію вигод щодо відстеження надання аж до обіцяних результатів.
Пастки
- Замовлення лише оцінювання впливу. Нульовий чи слабкий результат тоді не можна інтерпретувати як відмову теорії чи відмову впровадження, що саме є розрізненням, яке важить для рішення, що робити далі.
- Вважати оцінювання процесу м'яким доповненням. Воно потребує тієї ж ретельності та попередньо визначених критеріїв вірності, що й дизайн впливу, інакше воно зводиться до анекдоту, коли надходять результати.
- Плутання «вчасно й у межах бюджету» з «надано, як задумано». Оцінювання процесу перевіряє вірність моделі — дозу, цільову групу, зміст — а не статус RAG управління проєктом.
- Нереєстрація порогів вірності заздалегідь. Вирішення постфактум, що вважається «достатньою дозою», змушує будь-яке пояснення розчаровуючого результату впливу виглядати як виправдання post hoc.
Джерела
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/