Тема 24 из 64· Социальная ценность и измерение воздействия
Оценка влияния в противовес оценке процесса
Оценка влияния отвечает на вопрос, вызвала ли программа задуманные результаты. Оценка процесса отвечает на вопрос, была ли программа фактически реализована так, как задумано, — кому, в какой дозе и с какими препятствиями или благоприятствующими факторами на этом пути. Это разные вопросы, требующие разных методов, и «Magenta Book» казначейства Великобритании (HM Treasury) рассматривает заказ обеих оценок вместе как стандартную практику, потому что слабый или нулевой результат влияния сам по себе неинтерпретируем: он не может сказать вам, была ли неверной лежащая в основе программы теория, или же хорошая теория просто никогда не была должным образом реализована.
Почему это важно
Государственные оценки неоднократно не обнаруживали измеримого эффекта от программы, не имея при этом оценки процесса, которая объяснила бы почему, — оставляя заказчиков неспособными отличить «эта идея не работает» (провал теории) от «эту идею никогда толком не пробовали» (провал реализации). Руководство Совета по медицинским исследованиям (Medical Research Council) по оценке процесса сложных вмешательств, опубликованное в BMJ в 2015 году и широко цитируемое наряду с «Magenta Book», формализовало достоверность (fidelity), дозу и охват как основные вещи, которые должна измерять оценка процесса. Заказ оценки влияния без оценки процесса рискует отказом от подлинно обоснованного дизайна программы, потому что она была реализована для половины целевого населения с долей запланированной интенсивности, — ошибка, которую хорошо подготовленный к предотвращению разработчик систем может предотвратить, потому что достоверность реализации — это именно то, что операционные системы данных могут фиксировать почти в реальном времени.
Математика
Process evaluation asks:
- Was it delivered to the target population, at the planned dose/intensity?
- Did delivery match the logic model / theory of change design?
- What barriers or facilitators affected delivery?
Methods: fidelity checks against pre-specified thresholds, case studies, interviews,
administrative delivery data.
Impact evaluation asks:
- What changed, and how much of that change is attributable to the programme?
Methods: RCT, DiD, PSM, RDD — see impact-evaluation-methods — against a counterfactual.
Combined diagnosis:
No effect + high fidelity → theory failure: the model itself did not produce the outcome
No effect + low fidelity → implementation failure: the model was never properly tested
Effect found + high fidelity → replicate with confidence
Effect found + low fidelity → investigate further: the effect may be fragile or site-specific
Практический пример
Орган местного самоуправления (программа для родителей): оценка влияния методом «разность разностей» обнаруживает изменение показателя благополучия ребёнка на +2 процентных пункта — статистически незначимое. Оценка процесса, проведённая параллельно, обнаруживает, что программа охватила только 210 из 500 целевых семей (охват 42%), и из них только 95 достигли заранее установленного порога достоверности в 75%+ посещённых сессий — 19% от изначально запланированного охвата. Вывод: слабый результат влияния согласуется с провалом реализации, а не является доказательством того, что модель программы не работает; подходящая реакция — исправить путь направления, вызвавший отсев в 58%, а не отказываться от дизайна программы.
Благотворительная организация (программа цифровой грамотности): оценка влияния обнаруживает сильный эффект (+18 процентных пунктов по показателю цифровой уверенности), и параллельная оценка процесса подтверждает 92% достоверности запланированной учебной программе на всех 12 площадках реализации. В совокупности донор может масштабировать программу с уверенностью, потому что показано, что эффект устойчиво сохраняется, а не является продуктом одной необычно хорошей площадки.
Связь с разработкой программного обеспечения
Данные для оценки процесса — именно то, что хорошо подготовлены фиксировать системы реализации: посещаемость относительно плана, дозировка сессий и отсев на каждом этапе воронки направления или зачисления — та же воронковая аналитика, которую инженеры уже строят для продуктовых функций, применённая вместо этого к конвейеру реализации социальной программы. Подача показателей достоверности и охвата руководителям программ почти в реальном времени, вместо ожидания оценки по окончании гранта, позволяет исправить сломанный путь направления в середине программы, а не обнаружить это только по окончании периода финансирования. См. методы оценки влияния о причинных схемах, с которыми сочетается оценка процесса, теорию изменений и логическую модель — дизайн, достоверность которому проверяет оценка процесса, и реализацию выгод для отслеживания доставки вплоть до обещанных результатов.
Подводные камни
- Заказ только оценки влияния. Нулевой или слабый результат тогда невозможно интерпретировать как провал теории или провал реализации — а именно это различие важно для решения о дальнейших действиях.
- Отношение к оценке процесса как к второстепенному дополнению. Она нуждается в той же строгости и заранее установленных критериях достоверности, что и дизайн оценки влияния, иначе при получении результатов она сводится к анекдоту.
- Смешение «в срок и в рамках бюджета» с «реализовано так, как задумано». Оценка процесса проверяет достоверность модели — дозу, целевую группу, содержание, — а не статус управления проектом по светофорной системе.
- Отсутствие предварительной регистрации порогов достоверности. Решение постфактум о том, что считается «достаточной дозой», делает любое объяснение разочаровывающего результата влияния похожим на постфактумное оправдание.
Источники
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/