Тема 7 із 64· Основи публічної цінності
Витіснення й атрибуція
Витіснення (displacement) відбувається, коли позірна вигода програми досягається шляхом відбирання діяльності чи вигоди деінде, а не створення чогось нового, — ваш виграш є чужою втратою. Атрибуція (attribution) — суміжне питання про те, скільки зі спостережуваного результату ваше втручання може справді приписати собі, коли внесок зробили й інші суб'єкти та чинники. Обидва є стандартними поправками в британських настановах з оцінювання публічного сектору, поряд із мертвим вантажем і витоком, і обидва рутинно пропускаються в заявах про вплив, що виглядають значно сильнішими, ніж вони є.
Чому це важливо
Грантова схема місцевої влади для бізнесу, що допомагає 50 крамницям переїхати в зону відновлення, може повідомити «підтримано 50 підприємств, створено 200 робочих місць» — але якщо ці підприємства просто переїхали з сусідньої торгової вулиці, замість розширюватися, робочі місця були витіснені, а не створені, і чистий ефект у масштабі району (чи регіону) може бути близьким до нуля. Magenta Book HM Treasury та давня Additionality Guide вважають витіснення обов'язковим відрахуванням саме тому, що місцеві історії успіху поширені, навіть коли не дають чистої національної чи регіональної вигоди, — цінність просто переміщується, часто на шкоду території чи суб'єктам, що її втратили. Настанови з оцінювання структурних фондів (використовувані для колишніх програм Європейського фонду регіонального розвитку та їхніх вітчизняних наступників, як-от UK Shared Prosperity Fund) формалізують це на трьох просторових масштабах: локальне витіснення (в межах міста), регіональне (в межах регіону) та національне (по всьому Сполученому Королівству), бо втручання може бути додатковим в одному масштабі й чистим витісненням у ширшому — програма зайнятості, що залучає працівників із сусіднього міста, національно нейтральна, навіть якщо виглядає локальним успіхом.
Атрибуція — споріднена проблема в наданні, насиченому партнерствами, що стало нормою в соціальному секторі та міжвідомчих публічних послугах. Коли три організації спільно надають послугу запобігання бездомності, звіт кожної організації може незалежно претендувати на заслугу за те саме скорочення кількості людей, що сплять просто неба, — сумований за звітами заявлений вплив може перевищувати спостережену реальну зміну, іноді у кілька разів. Настанови Magenta Book щодо аналізу внеску існують саме тому, що випадкова атрибуція одному суб'єкту в міжвідомчому наданні часто неможлива, а чесна відповідь нерідко «ми зробили внесок у цей результат», а не «ми спричинили цей результат».
Математика
Витіснення як частина стандартної послідовності чистого впливу (повний ланцюг див. додатковість і мертвий вантаж):
Чистий додатковий вплив = Валовий результат − Мертвий вантаж − Витіснення − Витік, × Мультиплікатор
Ставка витіснення = вигода/діяльність, відвернута звідкись
/ загальна спостережена валова вигода/діяльність
Атрибуція, де кілька суб'єктів роблять внесок у один результат, зазвичай виражається як частка внеску, а не точний відсоток, бо її зазвичай не можна виміряти з тією ж ретельністю, що й витіснення:
Приписувана частка ≈ f(сила причинного внеску, внески інших суб'єктів,
зовнішні/контекстні чинники)
Заявлений вплив ніколи не повинен перевищувати:
Σ (приписувана частка кожного партнера) ≤ 100% загального спостереженого результату
Робочий приклад
Грант на відновлення: грантова схема ради для головної вулиці повідомляє про 200 нових робочих місць у роздрібній торгівлі у фінансованій зоні. Подальше опитування виявляє, що 60 із цих робочих місць походять від підприємств, які переїхали з сусідньої, нефінансованої торгової вулиці в тому самому районі, а ще 30 — від національних мереж, що відкривають філії, які були б відкриті десь у регіоні незалежно від гранту.
Заявлені валові робочі місця = 200
Локальне витіснення = 60 (переміщено в межах району)
Регіональне витіснення = 30 (були б відкриті в регіоні й так)
Чисті додаткові робочі місця (рівень району) = 200 − 60 = 140
Чисті додаткові робочі місця (рівень регіону) = 200 − 60 − 30 = 110
Чесний заголовок залежить від географічного масштабу, що цікавить фундатора, — бізнес-обґрунтування Treasury, оцінене на національному чи регіональному рівні, має використовувати 110, а не 140 рівня району і вже точно не сирі 200.
Міжвідомча послуга щодо бездомності: три партнерські організації (рада, житлова благодійна організація та медичний траст) спільно надають послугу скорочення кількості людей, що сплять просто неба. Кількість таких людей на території впала на 30 за рік. Річний звіт кожної організації заявляє «ми скоротили кількість людей, що сплять просто неба, на 30» — разом три звіти заявляють про допомогу 90 людям, утричі більше за фактичне скорочення. Аналіз внеску, що призначає кожному партнеру частку (скажімо, 40% рада, 35% благодійна організація, 25% медичний траст, на підставі задокументованої ролі та незалежної оцінки), повідомив би відповідно 12, 10,5 і 7,5, що правильно сумується до спостережених 30.
Зв'язок з програмною інженерією
Витіснення й атрибуція формують те, як мають проєктуватися системи відстеження впливу та звітності про результати для надання на кількох майданчиках чи за участі кількох партнерів:
- Географічний та організаційний обсяг мають бути явними, першокласними полями в будь-якій панелі впливу — число, повідомлене «для району», і те саме число, повідомлене «для регіону», — різні числа, а система, що їх змішує, видаватиме числа, які неможливо узгодити на рівні портфеля.
- Де кілька партнерів надають послугу спільно, система результатів має фіксувати частки внеску (або принаймні позначати спільну атрибуцію), замість дозволяти звітному модулю кожного партнера незалежно претендувати на 100% спільного результату — інакше зведення на рівні портфеля завищуватимуть загальний вплив, іноді сильно.
- Це пов'язано із соціальною віддачею на інвестиції та звітністю про результати грантів: розрахунок SROI чи IRIS+, що ігнорує витіснення або надмірно приписує спільні результати, дасть завищене співвідношення, яке не витримає аудиту чи відтворення.
Пастки
- Повідомлення про локальний успіх без перевірки ширшого витіснення. Програма може виглядати дуже успішною на найменшому масштабі звітності, будучи нейтральною чи навіть негативною на ширшому; завжди вказуйте географічний масштаб, до якого належить чисте число.
- Дозвіл кожному партнеру спільного надання претендувати на повну заслугу. Якщо частки внеску не узгоджено й не задокументовано, зведена звітність між партнерами завищуватиме загальний вплив — перевіряйте, що заяви на рівні партнерів у сумі не перевищують спостереженого загального.
- Вважати атрибуцію точним відсотком, коли вона насправді судження. Аналіз внеску, на відміну від випадкового контрфактичного, дає обґрунтовану оцінку, а не виміряний факт; подавайте її з належною невизначеністю, а не з хибною точністю.
- Ігнорування витіснення в ринково орієнтованих втручаннях. Підтримка бізнесу, схеми зайнятості та відновлення, прив'язане до місця, — класичні категорії високого витіснення; ставтеся до перевірок витіснення як до обов'язкових для них, а не необов'язкових.
Джерела
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), including guidance on contribution analysis. https://www.gov.uk/government/publications/the-magenta-book
- HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition).
- European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on local, regional, and national displacement scales.
- Mayne J. "Contribution Analysis: An Approach to Exploring Cause and Effect." ILAC Brief No. 16, 2008.