Тема 20 из 64· Социальная ценность и измерение воздействия

Результаты и выпуски (Outcomes vs Outputs)

Выпуск — это прямой, подсчитываемый продукт деятельности: он существует в момент доставки независимо от того, какой эффект производит. Результат — это изменение, которое следует для людей, места или системы, вовлечённых в него. «500 человек посетили семинар по поиску работы» — это выпуск: это верно, даже если никто из них не найдёт работу. «У 500 человек улучшились перспективы трудоустройства» — это заявление о результате, и оно требует доказательств изменения, а не просто доказательств посещения, — это смешение порождает больше вводящих в заблуждение грантовых отчётов, чем почти любая другая ошибка измерения в секторе.

Почему это важно

«Magenta Book» казначейства Великобритании (HM Treasury) и такие доноры, как National Lottery Community Fund, требуют отчётности о результатах именно потому, что выпуски — это то, что программы отчитывают по умолчанию: их дёшево подсчитывать, они всегда доступны и всегда выглядят положительно. Подсчёт выпусков буквально никогда не может снизиться в результате провала программы — больше проведённых сессий всегда «больше», в то время как результат может показать, что программа не работает. Национальное контрольно-ревизионное управление (NAO) неоднократно критиковало государственные программы за отчётность об уровнях деятельности, как если бы они были доказательством успеха; программная система, облегчающая отчётность только по выпускам, по умолчанию закрепляет это, потому что выпуски не требуют сбора данных последующего наблюдения, а результаты требуют.

Математика

Формулы нет, но есть надёжный тест для классификации показателя:

Output test:  is it countable at the point of delivery, true even if the recipient is unaffected?
Outcome test: does it require a before/after or with/without comparison to be meaningful?

If a number can be true with zero benefit to anyone, it is an output.

Это находится внутри более широкой цепочки логической модели и зависит от связей результатов, определённых в теории изменений; превращение результата в деньги использует методы из социальной отдачи от инвестиций.

Практический пример

Орган местного самоуправления (поддержка трудоустройства): выпуск — 500 человек посетили семинары по поиску работы. Результат — при последующем наблюдении через 12 месяцев 140 из этих 500 (28%) находятся в устойчивой занятости (6+ месяцев). Контрольная группа со схожими характеристиками, но без доступа к программе, показывает базовый уровень занятости 15% за тот же период. Чистый прирост результата: 28% − 15% = 13 процентных пунктов, то есть примерно 500 × 0,13 = 65 дополнительных людей работают, кто иначе бы не работал, — относимый на счёт программы результат, отличный как от цифры посещаемости 500, так и от сырого подсчёта занятости 140.

Благотворительная организация (благотворительная организация грамотности): выпуск — 1200 сессий чтения, проведённых для 300 детей. Результат — средний возраст чтения улучшился на 8 месяцев за 6-месячный период, против ожидаемого базового естественного прогресса за 6 месяцев в 6 месяцев. Чистый прирост результата: 8 − 6 = 2 месяца дополнительного улучшения возраста чтения на ребёнка, относимых на счёт программы, а не полная цифра в 8 месяцев.

Связь с разработкой программного обеспечения

Журналы событий и транзакционные системы инструментируют выпуски почти автоматически — просмотры страниц, сессии, закрытые заявки, забронированные консультации, — потому что они порождаются самой системой, выполняющей свою работу. Результаты требуют модели данных, фиксирующей того же человека в более позднюю точку времени относительно базового значения или сравнения, что нужно намеренно спроектировать: опросы последующего наблюдения, связанные административные записи или сравнительная когорта. Инструмент отчётности, поддерживающий только первое, незаметно направит организацию к отчётности только по выпускам, что бы ни просил донор. См. логическую модель о том, где результаты находятся в цепочке подотчётности, стоимость на единицу результата о превращении этого различия в показатель удельной стоимости, и KPI государственного сектора о более широком шаблоне выбора показателей.

Подводные камни

  • Представление выпусков как результатов. «Присутствовало 500 человек» подразумевает выгоду, не демонстрируя её; явно маркируйте посещаемость как выпуск.
  • Отсутствие базового значения или контрольной группы. Цифра результата без контрфактического сценария — см. контрфактический анализ — не может отделить эффект программы от того, что произошло бы в любом случае.
  • Оптимизация под финансируемый показатель. Когда финансирование привязано к объёму выпуска, команды реализации рационально максимизируют посещаемость в ущерб устойчивому изменению — сбой в духе закона Гудхарта.
  • «Отмывание» результатов. Переименование показателя выпуска в звучащие как результат формулировки («результаты вовлечённости: 500 посетителей») без какого-либо измерения последующего наблюдения за этим.

Источники