Тема 27 из 64· Метрики государственной эффективности и предоставления услуг
Подотчётность на основе результатов (Outcomes-Based Accountability, OBA)
Подотчётность на основе результатов, также называемая подотчётностью на основе итогов (Results-Based Accountability, RBA), — это концептуальная рамка Марка Фридмана для разделения двух вопросов, которые государственная отчётность обычно смешивает воедино: «хорошо ли живёт население?» (популяционная подотчётность) и «хорошо ли работает эта конкретная программа?» (подотчётность результативности). Смешение этих двух вопросов, по словам Фридмана, — самая распространённая причина, по которой хорошо управляемые программы обвиняют в популяционных трендах, на которые у них никогда не было возможности повлиять.
Почему это важно
Фридман изложил эту концептуальную рамку в книге Trying Hard Is Not Good Enough (2005), утверждая, что большинство государственной отчётности либо топит лиц, принимающих решения, в популяционной статистике, которую не контролирует ни одно отдельное ведомство (уровень подростковой беременности, уровень безработицы, ожидаемая продолжительность жизни), либо топит их в подсчётах деятельности на уровне программы (принятые клиенты, сделанные направления), которые ничего не говорят о том, улучшилась ли чья-то жизнь. Вклад RBA — небольшой, дисциплинированный словарь, разделяющий эти два понятия: популяционные результаты (условия благополучия для всего населения, например «дети рождаются здоровыми») не принадлежат ни одному отдельному ведомству и требуют совместных действий многих партнёров; показатели результативности (насколько хорошо конкретная программа обслуживает своих конкретных клиентов) принадлежат одному ведомству и должны оцениваться только относительно того, на что это ведомство действительно может влиять. «Три вопроса результативности» Фридмана — сколько мы сделали, насколько хорошо мы это сделали и стало ли кому-то лучше? — теперь встроены в контрактацию социальных услуг на уровне штатов и округов США и, через консалтинговую компанию и инструментарий Clear Impact, выровненные с RBA, широко используются в заказе услуг местного самоуправления Великобритании и Содружества. Практические ставки носят контрактный характер: жилищная программа не должна лишаться финансирования, потому что уровень бездомности в городе вырос по макроэкономическим причинам вне её досягаемости, но она определённо должна лишаться финансирования, если её собственные клиенты не получают жильё.
Математика
Population accountability (the "big picture" a community, region, or nation shares):
Result — a condition of wellbeing (e.g. "residents are economically secure")
Indicator(s) — a measure of that condition (e.g. unemployment rate, median household income)
→ no single programme owns the indicator; movement requires many contributors
Performance accountability (what one programme is responsible for):
How much did we do? — activity volume (clients served, units delivered)
How well did we do it? — quality/efficiency (% completing programme, cost per client)
Is anyone better off? — the outcome that matters (% in employment 6 months after
programme, before/after or against a comparison group)
A programme is judged on the third performance question, never on the population
indicator directly, unless its scale and design could plausibly move it alone.
Практический пример
Финансируемая городом программа поддержки трудоустройства, 500 участников в год, законтрактованная органом местного самоуправления по концептуальной рамке результативности в стиле RBA:
Population indicator (context, not the programme's scorecard):
City unemployment rate: 6.2% (up from 5.8% the prior year, driven by a factory closure
outside the programme's control)
Performance measures (the programme's actual accountability):
How much: 500 participants enrolled (target 480) — met
How well: 78% completion rate; cost per completer = £340,000 / 390 completers ≈ £872
Better off: of 390 completers, 260 in sustained employment at 6 months = 66.7%
versus a matched comparison group's 41% (see counterfactual-analysis)
При прочтении через популяционную подотчётность программа выглядит проваленной — уровень безработицы в городе вырос на её «вахте». При прочтении через подотчётность результативности RBA программа успешна: она достигла целевого объёма, сохранила стабильное качество и дала результат по занятости на 25,7 процентных пункта выше сопоставленной контрольной группы, в то время как популяционный показатель изменился по причинам (закрытие завода), полностью находящимся вне контроля программы.
Связь с разработкой программного обеспечения
RBA напрямую отображается на знакомое различие из практики SRE: популяционные показатели подобны бизнес-уровневым «путеводным» метрикам, которые не принадлежат единолично ни одной инженерной команде от начала до конца (выручка компании, доля рынка), в то время как показатели результативности подобны собственным SLO команды — тому, на что действительно влияют проектные решения этой команды. Панель показателей, отражающая оба типа без пометки, какой из них какой, провоцирует именно ту неверную атрибуцию, которую RBA призвана предотвращать: дежурного инженера обвиняют в метрике, которую контролирует зависимая команда. При заказе или создании инструментов отчётности для контрактов по результатам стройте триаду «сколько / насколько хорошо / стало ли лучше» как полноценные, отдельно фильтруемые поля, а не единый смешанный KPI — это та же дисциплина, что разделение опережающих и запаздывающих индикаторов в KPI государственного сектора. RBA также лежит в основе логики подотчётности оплаты по результатам и облигаций социального воздействия: контракт с оплатой по результатам может справедливо оплачиваться только по показателю результативности «стало ли лучше», никогда по популяционному показателю, если только вмешательство подлинно не является доминирующим фактором его изменения.
Подводные камни
- Оплата или наказание программы по популяционному показателю, который она не может контролировать: это ровно та ошибка, для предотвращения которой существует RBA; всегда прослеживайте, является ли программа основным или второстепенным вкладчиком в популяционный результат, прежде чем привязывать к нему последствия.
- Представление «сколько сделано» как «стало лучше»: подсчёты деятельности (принятые клиенты) — самые лёгкие для сбора данные и наименее информативные; настаивайте, чтобы вопрос «стало ли кому-то лучше» отвечался реальными данными о результатах, в идеале в сравнении с контрфактическим сценарием (см. контрфактический анализ).
- Отношение к показателям RBA как к неизменным навсегда: метод Фридмана явно итеративен — цикл «данные, история, что работает, план действий», — а не разовое упражнение по проектированию системы показателей.
- Отсутствие контрольной группы для оценки «стало лучше»: изменение «до/после» без контрфактического сценария смешивает эффект программы с трендом, который население показало бы в любом случае.
Источники
- Mark Friedman, Trying Hard Is Not Good Enough: How to Produce Measurable Improvements for Customers and Communities, Trafford Publishing, 2005.
- Clear Impact, "What is Results-Based Accountability?" https://clearimpact.com/results-based-accountability/