Тема 6 із 64· Основи публічної цінності

Додатковість і мертвий вантаж

Додатковість (additionality) питає, чи втручання спричинило результат, якого інакше не сталося б. Мертвий вантаж (deadweight) — її дзеркальне відображення: частка результату, яка настала б і так, навіть без програми, гранту чи субсидії. Майже кожна заява про вплив урядової програми чи благодійної організації перебільшує її ефект, доки не віднято мертвий вантаж, тому британські настанови з оцінювання вважають його першою та найважливішою поправкою до будь-якого заголовного числа.

Чому це важливо

«Ми підтримали зростання 500 підприємств» звучить як досягнення, але якщо 300 із цих підприємств зросли б і так — бо місцева економіка відновлювалася, бо вони мали інші шляхи фінансування, бо вони вже були на траєкторії зростання до початку програми — справжній додатковий внесок програми — 200, а не 500. Magenta Book HM Treasury та давня «Additionality Guide» HM Treasury/BIS (розроблена спочатку для програм регіонального розвитку й відновлення та відтоді широко використовувана в британських урядових оцінюваннях) формалізують мертвий вантаж як початкову поправку в стандартній послідовності чистого впливу: валовий ефект мінус мертвий вантаж, мінус витіснення, мінус витік, скоригований на мультиплікаторні ефекти, дорівнює чистому додатковому впливу. Пропуск цього кроку — найпоширеніший спосіб завищення заяв про вплив у публічному та соціальному секторі, навмисний чи ні: грантова програма, що вимірює лише валові результати учасників, без групи порівняння, не може відрізнити власний ефект від того, що сталося б у будь-якому разі.

Мертвий вантаж — не фіксований відсоток; він цілком залежить від контрфактичного для конкретної популяції та втручання (див. контрфактичний аналіз). Англійські оцінювання регіонального розвитку за часів колишніх Regional Development Agencies зазвичай виявляли ставки мертвого вантажу в діапазоні 20–60% залежно від типу підтримки бізнесу, тому достовірні оцінювання програм повідомляють діапазон, скоригований на мертвий вантаж, а не єдине припущене число, та тому фундатори, як-от National Lottery Community Fund і Big Society Capital, вимагають від отримувачів грантів чітко враховувати мертвий вантаж у звітності про результати замість повідомлення валової кількості учасників.

Математика

Стандартна послідовність поправок чистого впливу, як викладено в британських настановах з оцінювання (Magenta Book; HM Treasury/BIS Additionality Guide; настанови з оцінювання ESIF і структурних фондів):

Валовий результат
  − Мертвий вантаж   (що сталося б і так)
  − Витіснення       (діяльність/вигода, переміщена звідкись, а не створена — див.
                      displacement-and-attribution)
  − Витік            (вигода, що припадає поза цільовою групою/територією)
  × Мультиплікатор   (додаткова непряма/індукована економічна діяльність, де позитивна)
  = Чистий додатковий вплив

Ставка мертвого вантажу як частка:

Ставка мертвого вантажу = результати, що настали б без втручання
                           / загальні спостережені валові результати

Чисті додаткові результати = Валові результати × (1 − Ставка мертвого вантажу)

Робочий приклад

Грантова програма підтримки бізнесу: регіональна грантова схема повідомляє, що 500 підтриманих підприємств збільшили зайнятість наступного року, в середньому на 3 робочих місця кожне, — валова заява про 1500 робочих місць.

Підібрана група порівняння подібних непідтриманих підприємств (див. контрфактичний аналіз) показує, що 40% зростання зайнятості підтриманих підприємств сталося б і так, виходячи з того, як підібрана група працювала за той самий період.

Ставка мертвого вантажу = 40%
Чисті додаткові робочі місця = 1500 × (1 − 0,40) = 900 робочих місць

Чесно повідомлюване досягнення програми — 900 робочих місць, а не 1500, — зменшення на 40% лише від поправки на мертвий вантаж, ще до того, як взято до уваги витіснення чи витік.

Благодійна програма зайнятості: благодійна організація працевлаштовує 200 довготривало безробітних коштом 600 000 £ (3000 £ на працевлаштування, валово). Національні дані ринку праці показують, що без будь-якого втручання приблизно 15% порівнянної когорти довготривало безробітних знаходить роботу за той самий період завдяки природній плинності ринку праці.

Ставка мертвого вантажу = 15%
Чисті додаткові працевлаштування = 200 × (1 − 0,15) = 170
Справжня вартість додаткового працевлаштування = 600 000 £ / 170 ≈ 3529 £

Валова вартість на працевлаштування (3000 £) занижує реальну вартість додаткового внеску благодійної організації приблизно на 15%.

Зв'язок з програмною інженерією

Додатковість і мертвий вантаж безпосередньо важливі для всіх, хто створює програмне забезпечення для вимірювання впливу чи керування грантами для публічного або соціального сектору:

  • Системи звітності про результати мають за задумом фіксувати групу порівняння чи базову групу, а не лише результати учасників, — дозбудувати контрфактичне після запуску системи без нього значно важче, ніж вбудувати фіксацію з самого початку (див. контрфактичний аналіз).
  • Панелі, що повідомляють лише валову кількість учасників, системно перебільшуватимуть вплив перед фундаторами й наглядовими органами; де існують оцінки мертвого вантажу (з літератури оцінювання чи групи порівняння), програмне забезпечення має показувати чисте за вирахуванням мертвого вантажу число поряд із валовим, а не замість нього.
  • Це безпосередньо пов'язано із соціальною віддачею на інвестиції, чиє співвідношення SROI достовірне лише після віднімання мертвого вантажу (та витіснення) від валових заявлених результатів, — калькулятор SROI, що пропускає цей крок, дасть завищені співвідношення, які не витримають перевірки.

Пастки

  • Повідомлення валових результатів так, ніби всі вони додаткові. Це найпоширеніша помилка вимірювання впливу у звітності про гранти й програми; завжди запитуйте «чи це сталося б і так?» перед публікацією заголовного числа.
  • Припущення, що єдиний відсоток мертвого вантажу застосовний скрізь. Мертвий вантаж сильно варіює за сектором, популяцією та місцевими економічними умовами; використовуйте групу порівняння чи докази, специфічні для сектору, замість повторного використання числа з не пов'язаного оцінювання.
  • Плутання мертвого вантажу з витісненням. Мертвий вантаж стосується контрфактичних результатів для тих самих учасників; витіснення — впливів на інших людей чи місця — див. витіснення й атрибуція. Змішування обох веде до подвійного врахування або недооцінки поправки.
  • Мертвий вантаж, самозвітований учасниками. Запитання бенефіціарів «чи це сталося б без нашої допомоги?» дає системно занижені оцінки мертвого вантажу (учасники схильні приписувати заслугу програмі); незалежна група порівняння значно надійніша.

Джерела

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020). https://www.gov.uk/government/publications/the-magenta-book
  • HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition), originally developed with English Partnerships and the Housing Corporation.
  • European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on deadweight, displacement, and leakage in structural-funds evaluation.
  • National Lottery Community Fund, "Guidance on Outcomes and Impact Reporting." https://www.tnlcommunityfund.org.uk/