Тема 20 із 64· Соціальна цінність і вимірювання впливу
Результати проти продуктів
Продукт (output) — це прямий, зліченний вихід діяльності: він існує в момент надання, незалежно від того, який ефект має. Результат (outcome) — це зміна, що настає для залучених людей, місця чи системи. «500 осіб відвідали семінар із пошуку роботи» — продукт: це правда, навіть якщо жодна з них не знайде роботи. «Перспективи працевлаштування 500 осіб покращилися» — заява про результат, і вона вимагає доказу зміни, а не лише доказу присутності, — плутанина, що породжує більше оманливих грантових звітів, ніж майже будь-яка інша помилка вимірювання в секторі.
Чому це важливо
Magenta Book HM Treasury та фундатори, як-от National Lottery Community Fund, вимагають звітності про результати саме тому, що продукти — це те, про що програми повідомляють за замовчуванням: їх дешево рахувати, вони завжди доступні й завжди виглядають позитивно. Кількість продуктів буквально ніколи не може впасти внаслідок провалу програми — більше проведених сесій — завжди «більше», тоді як результат може виявити, що програма не працює. National Audit Office неодноразово критикував урядові програми за звітування про рівні діяльності так, ніби це докази успіху; програмна система, що полегшує звітування лише про продукти, посилює це за замовчуванням, бо продукти не потребують збору даних подальшого супроводу, а результати потребують.
Математика
Формули немає, але є надійний тест для класифікації метрики:
Тест продукту: чи це зліченне в точці надання, істинне, навіть якщо одержувача не зачеплено?
Тест результату: чи потребує воно порівняння до/після або з/без, щоб мати сенс?
Якщо число може бути істинним за нульової користі для будь-кого, це продукт.
Це міститься в ширшому ланцюзі логічної моделі і залежить від ланок результатів, визначених у теорії змін; перетворення результату на гроші використовує методи соціальної віддачі на інвестиції.
Робочий приклад
Місцева влада (підтримка зайнятості): продукт — 500 осіб відвідали семінари з пошуку роботи. Результат — на 12-місячному супроводі 140 із цих 500 (28%) мають стійку зайнятість (6+ місяців). Група порівняння зі схожими характеристиками, але без доступу до програми, має базовий рівень зайнятості 15% за той самий період. Чисте зростання результату: 28% − 15% = 13 процентних пунктів, тож за оцінками 500 × 0,13 = 65 додаткових осіб працюють, які інакше б не працювали, — приписуваний результат, відмінний і від цифри відвідування 500, і від сирої кількості зайнятих 140.
Благодійна організація (організація з читання): продукт — 1200 сесій читання проведено для 300 дітей. Результат — середній читацький вік покращився на 8 місяців за 6-місячний період, проти очікуваного природного базового прогресу 6 місяців за 6 місяців. Чистий приріст результату: 8 − 6 = 2 місяці додаткового покращення читацького віку на дитину, що приписується програмі, а не повні 8 місяців.
Зв'язок з програмною інженерією
Журнали подій і транзакційні системи оснащують продукти майже автоматично — перегляди сторінок, сесії, закриті тікети, заброньовані прийоми — бо вони генеруються системою, що виконує свою роботу. Результати вимагають моделі даних, що фіксує ту саму особу в пізніший момент часу відносно базового рівня чи порівняння, що має бути свідомо спроєктовано: опитування подальшого супроводу, зв'язані адміністративні записи або когорта порівняння. Інструмент звітності, що підтримує лише перше, тихо спрямовуватиме організацію до звітності лише про продукти, незалежно від того, чого просив фундатор. Див. логічну модель щодо місця результатів у ланцюзі підзвітності, вартість на результат щодо перетворення цього розрізнення на метрику одиничної вартості та KPI публічного сектору щодо ширшого шаблону вибору метрик.
Пастки
- Повідомлення продуктів так, ніби це результати. «500 осіб відвідали» натякає на користь, не демонструючи її; чітко позначайте відвідування як продукт.
- Відсутність базового рівня чи групи порівняння. Число результату без контрфактичного — див. контрфактичний аналіз — не може відокремити ефект програми від того, що сталося б і так.
- Оптимізація під фінансовану метрику. Коли фінансування прив'язане до обсягу продуктів, команди надання раціонально максимізують відвідуваність за рахунок тривалих змін, режим відмови закону Гудхарта.
- Відмивання результатів. Перейменування метрики продукту мовою, що звучить як результат («результати залучення: 500 учасників»), без жодного вимірювання подальшого супроводу за нею.
Джерела
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, outcomes reporting guidance. https://www.tnlcommunityfund.org.uk/
- National Audit Office, value-for-money report methodology. https://www.nao.org.uk/