Тема 27 із 64· Метрики результативності та надання в уряді

Підзвітність на основі результатів (OBA)

Підзвітність на основі результатів (Outcomes-Based Accountability), також звана підзвітністю на основі результативності (Results-Based Accountability, RBA), — рамка Марка Фрідмана для розділення двох питань, які звітність публічного сектору звично розмиває: «чи добре живеться популяції?» (підзвітність популяції) і «чи добре працює ця конкретна програма?» (підзвітність результативності). Змішування цих двох, за словами Фрідмана, — найпоширеніша причина, чому добре керовані програми звинувачують у тенденціях популяції, які вони ніколи не мали сили зрушити.

Чому це важливо

Фрідман виклав рамку в Trying Hard Is Not Good Enough (2005), стверджуючи, що більшість публічної звітності або топить осіб, що ухвалюють рішення, у статистиці на рівні популяції, яку не контролює жодна окрема агенція (рівень підліткових вагітностей, безробіття, тривалість життя), або топить їх у кількостях діяльності на рівні програми (обслужені клієнти, здійснені направлення), які нічого не кажуть про те, чи покращилося чиєсь життя. Внесок RBA — невеликий, дисциплінований словник, що тримає їх окремо: результати популяції (умови добробуту для цілої популяції, як-от «діти народжуються здоровими») не належать жодній окремій агенції та вимагають багатьох партнерів, що рухаються разом; заходи результативності (наскільки добре конкретна програма обслуговує своїх конкретних клієнтів) належать одній агенції та мають оцінюватися лише відносно того, на що ця агенція насправді може впливати. «Три питання результативності» Фрідмана — що ми зробили, наскільки добре ми це зробили і чи комусь стало краще? — тепер вбудовані в американське контрактування соціальних послуг на рівні штатів і округів і, через узгоджену з RBA консалтингову фірму та набір інструментів Clear Impact, широко використовуються в британському та співдружнісному замовленні послуг місцевою владою. Практичні ставки договірні: житлова програма не повинна втрачати фінансування через те, що рівень безпритульності в місті зріс через макроекономічні причини поза її досяжністю, але вона абсолютно повинна втратити його, якщо її власні клієнти не забезпечені житлом.

Математика

Підзвітність популяції («велика картина», яку поділяє громада, регіон чи нація):
  Результат     — умова добробуту (напр. «мешканці економічно захищені»)
  Індикатор(и)  — міра цієї умови (напр. рівень безробіття, медіанний дохід домогосподарства)
  → жодна окрема програма не володіє індикатором; рух потребує багатьох учасників

Підзвітність результативності (за що відповідає одна програма):
  Що ми зробили?             — обсяг діяльності (обслужені клієнти, надані одиниці)
  Наскільки добре ми це зробили? — якість/ефективність (% тих, хто завершив програму, вартість на клієнта)
  Чи комусь стало краще?     — результат, що має значення (% зайнятих через 6 місяців після
                               програми, до/після або відносно групи порівняння)

Програма оцінюється за третім питанням результативності, ніколи безпосередньо за
індикатором популяції, якщо її масштаб і дизайн не могли б правдоподібно зрушити його самостійно.

Робочий приклад

Фінансована містом програма підтримки зайнятості, 500 учасників на рік, законтрактована місцевою владою в рамках структури результативності в стилі RBA:

Індикатор популяції (контекст, не картка показників програми):
  Рівень безробіття в місті: 6,2% (вгору з 5,8% попереднього року, зумовлене закриттям
  заводу поза контролем програми)

Заходи результативності (фактична підзвітність програми):
  Що:           500 учасників зараховано (ціль 480) — виконано
  Наскільки добре: 78% рівень завершення; вартість на завершившого = 340 000 £ / 390 ≈ 872 £
  Чи краще:     з 390 завершивших 260 у стійкій зайнятості через 6 місяців = 66,7%
                проти 41% зіставленої групи порівняння (див. counterfactual-analysis)

За читанням підзвітності популяції програма виглядає такою, що зазнає невдачі, — рівень безробіття в місті зріс під її наглядом. За читанням підзвітності результативності RBA програма досягає успіху: вона влучила в ціль обсягу, зберегла стабільну якість і дала результат зайнятості на 25,7 процентного пункта вищий за зіставлену групу порівняння, тоді як індикатор популяції зрушився з причин (закриття заводу), цілком поза контролем програми.

Зв'язок з програмною інженерією

RBA відображається безпосередньо на знайоме розрізнення SRE: індикатори популяції схожі на бізнес-метрики «Полярної зірки», якими жодна окрема інженерна команда не володіє від початку до кінця (дохід компанії, частка ринку), тоді як заходи результативності подібні до власних SLO команди — того, що рішення дизайну цієї команди справді зрушують. Панель, що повідомляє обидва без позначення, який є яким, накликає саме ту хибну атрибуцію, якій RBA було створено запобігти: черговий інженер, якого звинувачують за метрику, яку контролює залежна команда. Замовляючи чи створюючи інструменти звітності для договорів на результати, будуйте тріаду «що / наскільки добре / чи краще» як першокласні, окремо фільтровані поля замість єдиного змішаного KPI — це та сама дисципліна, що й розділення випереджальних та запізнювальних показників у KPI публічного сектору. RBA також логіка підзвітності, що лежить під оплатою за результати та облігаціями соціального впливу: договір PbR може справедливо платити лише за заходом результативності «чи краще», ніколи за індикатором популяції, якщо втручання не є справді домінантним його рушієм.

Пастки

  • Винагороджувати чи карати програму відносно індикатора популяції, який вона не може контролювати: це єдина помилка, якій RBA існує запобігти; завжди відстежуйте, чи програма є головним чи другорядним учасником результату популяції, перш ніж прикріплювати до неї наслідки.
  • Повідомлення «що» так, ніби це «чи краще»: кількості діяльності (обслужені клієнти) — найлегші дані для збору й найменш інформативні; наполягайте, щоб на питання «чи комусь стало краще» відповідали реальними даними про результати, ідеально відносно контрфактичного (див. контрфактичний аналіз).
  • Вважати індикатори RBA незмінними назавжди: метод Фрідмана чітко ітеративний — цикл «дані, історія, що працює, план дій» — а не одноразова вправа проєктування картки показників.
  • Відсутність групи порівняння для «чи краще»: зміна до/після без контрфактичного змішує ефект програми з тенденцією, яку популяція показала б і так.

Джерела