Тема 33 из 64· Метрики социального сектора и благотворительности

Стоимость на единицу результата (Cost per Outcome)

Стоимость на единицу результата — это общие расходы программы, делённые на число людей, достигших определённого, значимого изменения в своих обстоятельствах, — а не число тех, кто просто получил услугу. Это самый острый показатель эффективности, который может использовать донор или команда реализации, потому что он вынуждает заранее ответить на вопрос, которого большинство благотворительных организаций избегает: что именно считается успехом?

Почему это важно

Продовольственный банк может сообщить два очень разных числа из отчётности за один и тот же год. Стоимость одной выданной продовольственной посылки может составлять 15 £. Стоимость одного домохозяйства, достигшего продовольственной безопасности — более не нуждающегося в экстренной продовольственной помощи, что подтверждено в точке последующего наблюдения, — может составлять 340 £. Оба числа верны. Только одно из них говорит донору, работают ли деньги. Разрыв между ними — это разрыв между выпуском и результатом: выданная посылка — это выпуск; домохозяйство, вышедшее из кризиса, — это результат. См. результаты и выпуски.

Британский третий сектор потратил два десятилетия на выстраивание инфраструктуры, закрепляющей это различие. «Четырёхопорный подход» (four pillar approach) New Philanthropy Capital к эффективности благотворительных организаций прямо требует от организаций формулировать свои результаты раньше своих выпусков, а Inspiring Impact — поддерживаемое донорами британское объединение по измерению влияния — публикует «Матрицу результатов» (Outcomes Matrix), заполнение которой теперь требуют многие грантовые заявки. Ежегодная исследовательская программа Trussell Trust «State of Hunger», проводимая совместно с университетом Heriot-Watt, существует именно потому, что подсчёт одних лишь посылок ничего не говорит о том, выходят ли люди из продовольственной небезопасности.

Стоимость на единицу результата имеет смысл только после того, как зафиксирован контрфактический сценарий: результат, достигнутый «в любом случае», — это не результат, который купила программа. См. контрфактический анализ и вытеснение и атрибуция.

Математика

Cost per outcome = Total programme cost / Number of beneficiaries achieving the defined outcome

where:
  Total programme cost   = direct delivery cost + fair share of overhead
  Defined outcome        = a pre-specified, measurable state change
                            (e.g. "food secure at 6-month follow-up",
                            not "received a food parcel")

Сравнивайте с базами данных удельных затрат (например, отраслевыми эталонами удельных затрат), чтобы судить, является ли данная стоимость на единицу результата хорошей, средней или низкой относительно сопоставимых вмешательств.

Практический пример

Продовольственный банк, один год:

  • Общая стоимость программы: 450 000 £
  • Выдано посылок: 30 000
  • Стоимость одной посылки (показатель выпуска): 450 000 £ / 30 000 = 15 £

Благотворительная организация также проводит шестимесячный опрос последующего наблюдения по выборке домохозяйств и обнаруживает, что 35% домохозяйств, получивших три и более посылки, сообщают, что более не нуждаются в экстренной продовольственной помощи, и набирают балл выше порога продовольственной безопасности по стандартному модулю опроса продовольственной безопасности. Из 1800 домохозяйств, получивших три и более посылки в этом году, этого результата достигают 630.

Cost per outcome = £450,000 / 630 = £714 per household achieving food security

Именно эту цифру в 714 £ должен использовать донор, сравнивающий эту благотворительную организацию с пилотом денежных переводов или услугой консультирования по долгам, а не 15 £. Если сопоставимая программа денежных переводов в том же регионе достигает продовольственной безопасности за 500 £ на домохозяйство, продовольственный банк не является очевидно более эффективным путём к тому же результату, даже несмотря на то, что стоимость одной посылки выглядит дешёвой.

Связь с разработкой программного обеспечения

Большинство систем управления делами построены для регистрации выпусков, потому что выпуски — это то, что происходит внутри самой транзакции (посылка выдана, форма подана). Результаты обычно наступают позже, часто за пределами обычного окна захвата данных системы, и требуют намеренного проектного решения: встроить механизм последующего наблюдения (триггер опроса, рабочий процесс повторного контакта, процедуру связывания данных) как полноценную функцию, а не как надстройку, пристёгнутую ради годового отчёта. Инженерам, разрабатывающим платформы управления грантами или делами для сектора, следует относиться к вопросу «что представляет собой событие результата и как мы его наблюдаем» как к вопросу требований, задаваемому до фиксации модели данных, — гораздо труднее добавить поле результата постфактум, чем счётчик выпусков. См. результаты и выпуски и логическую модель о том, как структурировать этот разговор о требованиях, и стоимость на одного благополучателя — более быстрый, грубый показатель, к которому команды прибегают, пока отслеживание результатов ещё не построено.

Подводные камни

  • Представление выпусков, замаскированных под результаты. «Охваченные люди» — это не «люди, которым помогли». Если показатель можно получить из системного журнала без последующего контакта, это почти наверняка выпуск.
  • Манипуляция знаменателем. Сужение группы результата до «тех, кто завершил программу» незаметно отбрасывает выбывших — часто самых сложных случаев — и завышает видимый показатель. Указывайте в знаменателе всех, кто начал, а не всех, кто завершил.
  • Отсутствие контрфактического сценария. Подсчёт всех, кто достиг результата, включая тех, кто достиг бы его в любом случае, завышает то, что «купила» программа. См. контрфактический анализ.
  • Сравнение несовместимых определений результата. «Продовольственная безопасность», измеренная валидированным модулем опроса, несопоставима с «продовольственной безопасностью», заявленной самостоятельно в форме удовлетворённости; таблица лидеров по стоимости на единицу результата честна, только когда определения результата совпадают.

Источники