Тема 7 из 64· Основы общественной ценности

Вытеснение и атрибуция (Displacement and Attribution)

Вытеснение происходит, когда видимая выгода программы достигается за счёт переноса деятельности или выгоды из другого места, а не создания чего-то нового, — ваш выигрыш становится чьим-то проигрышем. Атрибуция — связанный с этим вопрос о том, какую часть наблюдаемого результата ваше вмешательство может по-настоящему записать на свой счёт, когда вклад внесли и другие субъекты и факторы. Оба понятия — стандартные поправки в британских методических рекомендациях по оценке государственного сектора, наряду с «мёртвым грузом» и утечкой, и оба регулярно пропускаются в заявлениях о влиянии, которые выглядят намного убедительнее, чем есть на самом деле.

Почему это важно

Схема грантов местного самоуправления для бизнеса, помогающая 50 магазинам переехать в зону регенерации, может отчитаться «поддержано 50 предприятий, создано 200 рабочих мест» — но если эти предприятия просто переехали с соседней торговой улицы, а не расширились, рабочие места были вытеснены, а не созданы, и чистый эффект в масштабе всего района (или региона) может быть близок к нулю. «Magenta Book» казначейства Великобритании (HM Treasury) и давно действующее «Руководство по дополнительности» (Additionality Guide) рассматривают вытеснение как обязательный вычет именно потому, что локальные истории успеха обычны, даже когда они не приносят никакой чистой национальной или региональной выгоды — ценность просто переместилась, часто в ущерб территории или субъектам, которые её потеряли. Методические указания по оценке структурных фондов (используемые для бывших программ Европейского фонда регионального развития и их отечественных преемников, таких как британский Shared Prosperity Fund) формализуют это на трёх пространственных масштабах: локальное вытеснение (внутри города), региональное вытеснение (внутри региона) и национальное вытеснение (по всей Великобритании), потому что вмешательство может быть дополнительным на одном масштабе, оставаясь чистым вытеснением на более широком, — программа занятости, привлекающая работников из соседнего города, нейтральна в национальном масштабе, даже если выглядит локальным успехом.

Атрибуция — родственная проблема в реализации с большим числом партнёрств, что теперь стало нормой в работе социального сектора и межведомственных государственных услуг. Когда три организации совместно оказывают услугу по предотвращению бездомности, каждая организация в своём годовом отчёте может независимо приписать себе одно и то же сокращение уличной бездомности — в сумме по отчётам заявленное влияние может превышать наблюдаемое реальное изменение, иногда в несколько раз. Руководство «Magenta Book» по анализу вклада существует именно потому, что рандомизированная атрибуция единственному субъекту часто невозможна при межведомственной реализации, и честный ответ часто звучит как «мы внесли вклад в этот результат», а не «мы стали причиной этого результата».

Математика

Вытеснение как часть стандартной последовательности расчёта чистого эффекта (см. дополнительность и «мёртвый груз» для полной цепочки):

Net additional impact = Gross outcome − Deadweight − Displacement − Leakage, × Multiplier

Displacement rate = benefit/activity diverted from elsewhere
                     / total gross benefit/activity observed

Атрибуция, когда несколько субъектов вносят вклад в один результат, обычно выражается как доля вклада, а не точный процент, поскольку её, как правило, невозможно измерить с той же строгостью, что и вытеснение:

Attributable share ≈ f(strength of causal contribution, other actors' contributions,
                        external/contextual factors)

Claimed impact should never exceed:
  Σ (each partner's attributable share) ≤ 100% of the total observed outcome

Практический пример

Грант на регенерацию территории: схема грантов совета для торговой улицы сообщает о создании 200 новых рабочих мест в розничной торговле в финансируемой зоне. Последующее опросное исследование показывает, что 60 из этих рабочих мест возникли из-за переезда предприятий с соседней, нефинансируемой торговой улицы в том же районе, а ещё 30 — из-за открытия филиалов национальных сетей, которые в любом случае открылись бы где-то в регионе независимо от гранта.

Gross jobs claimed = 200
Local displacement = 60 (moved within the borough)
Regional displacement = 30 (would have opened regionally anyway)

Net additional jobs (borough level) = 200 − 60 = 140
Net additional jobs (regional level) = 200 − 60 − 30 = 110

Честная итоговая цифра зависит от географического масштаба, важного для донора, — бизнес-кейс казначейства, оцениваемый на национальном или региональном уровне, должен использовать 110, а не 140 на уровне района, и уж точно не сырую цифру 200.

Межведомственная услуга по бездомности: три партнёрские организации (совет, благотворительная организация по жилью и трест здравоохранения) совместно оказывают услугу по сокращению уличной бездомности. Уличная бездомность в районе снизилась на 30 человек за год. Каждая организация в своём индивидуальном годовом отчёте заявляет «мы сократили уличную бездомность на 30» — в сумме три отчёта заявляют о помощи 90 людям, втрое больше фактического сокращения. Анализ вклада, назначающий каждому партнёру долю (скажем, 40% совету, 35% благотворительной организации, 25% тресту здравоохранения, на основании документированной роли и независимой оценки), отразил бы 12, 10,5 и 7,5 человек соответственно, в сумме корректно давая наблюдаемые 30.

Связь с разработкой программного обеспечения

Вытеснение и атрибуция определяют, как следует проектировать системы отслеживания влияния и отчётности о результатах для реализации на нескольких площадках или с несколькими партнёрами:

  • Географический и организационный охват должен быть явным, полноценным полем в любой панели показателей влияния — цифра, представленная «по району», и та же цифра, представленная «по региону», — это разные числа, и система, которая их смешивает, будет выдавать цифры, не поддающиеся сверке на уровне портфеля.
  • Там, где несколько партнёров оказывают услугу совместно, система результатов должна фиксировать доли вклада (или как минимум помечать совместную атрибуцию), а не позволять модулю отчётности каждого партнёра независимо заявлять 100% общего результата — иначе сводные отчёты на уровне портфеля завысят общее влияние, иногда значительно.
  • Это связано с социальной отдачей от инвестиций и отчётностью о результатах грантов: расчёт SROI или IRIS+, игнорирующий вытеснение или чрезмерно атрибутирующий общие результаты, даст завышенный коэффициент, не выдерживающий аудита или повторения.

Подводные камни

  • Представление локального успеха без проверки более широкого вытеснения. Программа может выглядеть крайне успешной на самом маленьком масштабе отчётности, оставаясь нейтральной или даже отрицательной на более широком; всегда указывайте географический масштаб, к которому относится чистая цифра.
  • Позволение каждому партнёру в совместной реализации заявлять полную заслугу. Если доли вклада не согласованы и не задокументированы, сводная отчётность между партнёрами завысит общее влияние — проверяйте, что заявления на уровне партнёров в сумме не превышают наблюдаемый итог.
  • Отношение к атрибуции как к точному проценту, когда на самом деле это суждение. Анализ вклада, в отличие от рандомизированного контрфактического сценария, даёт обоснованную оценку, а не измеренный факт; представляйте его с соответствующей неопределённостью, а не с ложной точностью.
  • Игнорирование вытеснения во вмешательствах, ориентированных на рынок. Поддержка бизнеса, схемы занятости и территориальная регенерация — классические категории с высоким вытеснением; относитесь к проверке вытеснения как к обязательной для них, а не опциональной.

Источники

  • HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), including guidance on contribution analysis. https://www.gov.uk/government/publications/the-magenta-book
  • HM Treasury / Department for Business, Innovation and Skills, "Additionality Guide: A Standard Approach to Assessing the Additional Impact of Interventions" (3rd edition).
  • European Commission, "Evalsed: The Resource for the Evaluation of Socio-Economic Development" — guidance on local, regional, and national displacement scales.
  • Mayne J. "Contribution Analysis: An Approach to Exploring Cause and Effect." ILAC Brief No. 16, 2008.