Temat 28 z 64· Metryki wyników i dostarczania w administracji

Płatność za wyniki i obligacje wpływu społecznego (PbR/SIB)

Płatność za wyniki (payment by results, PbR) płaci dostawcy na podstawie zweryfikowanych osiągniętych rezultatów, a nie wykonanych działań. Obligacja wpływu społecznego (social impact bond, SIB) to szczególna struktura finansowania PbR, w której prywatni lub filantropijni inwestorzy finansują świadczenie usług z góry i są spłacani — ze zwrotem — przez rządowego zamawiającego tylko wtedy, gdy niezależnie zmierzone rezultaty osiągną uzgodnione progi, przenosząc ryzyko realizacji z podatnika na inwestora.

Dlaczego to ważne

Pierwsza na świecie SIB została uruchomiona w HMP Peterborough we wrześniu 2010 roku: Social Finance zebrało 5 milionów £ od 17 inwestorów na sfinansowanie „One Service”, pracującego z więźniami o krótkich wyrokach (poniżej 12 miesięcy), by ograniczyć recydywę, a Ministry of Justice i Big Lottery Fund zgodziły się spłacić inwestorów tylko wtedy, gdy zdarzenia ponownych skazań spadną o co najmniej 7,5% względem dopasowanej krajowej kohorty porównawczej. Ostatnia kohorta pilotażu w Peterborough zarejestrowała 9,7% redukcję ponownych skazań, z zapasem powyżej progu, a inwestorzy zostali spłaceni ze zwrotem. Mechanizm miał znaczenie, bo rozwiązał konkretny problem zamawiania: rząd chciał płacić za rezultaty, a nie nakłady, ale nie mógł wchłonąć ryzyka finansowego interwencji, która mogła nie zadziałać, więc struktura SIB przeniosła to ryzyko na inwestorów gotowych je objąć. Government Outcomes Lab (GO Lab) w Blavatnik School of Government w Oksfordzie utrzymuje obecnie najpełniejszą publiczną bazę dowodową o wynikach PbR i SIB na świecie, śledząc ponad 200 obligacji wpływu globalnie i publikując badania, które cechy projektowe korelują z sukcesem lub porażką. Lekcja, do której baza dowodowa wielokrotnie wraca, jest taka, że wybrana metryka rezultatu i to, kto ponosi ryzyko jej chybienia, determinują niemal wszystko inne w tym, jak umowa PbR faktycznie zachowuje się w praktyce.

Matematyka

Płatność PbR = płatność bazowa (jeśli jest) + Σ (osiągnięty rezultat × cena jednostkowa za rezultat)

Zwrot inwestora w obligację wpływu społecznego:
  Nakład inwestora   = kapitał z góry finansujący świadczenie usług
  Płatność za wynik  = zamawiający płaci tylko, jeśli rezultat ≥ próg, skalowana
                       tym, jak daleko powyżej progu ląduje wynik
  Zwrot inwestora    = otrzymane płatności za wyniki − nakład inwestora
                       (stopa zwrotu, często ograniczona, odzwierciedlająca podjęte ryzyko)

Kluczowe parametry projektowe, które określają zachowanie całej umowy:
  Metryka rezultatu     — musi być rezultatem, a nie produktem (zob. outcomes-vs-outputs)
  Porównanie/kontrfakt  — zwykle dopasowana kohorta (zob. counterfactual-analysis)
  Próg płatności        — minimalna poprawa przed wyzwoleniem jakiejkolwiek płatności
  Krzywa płatności      — liniowa, schodkowa lub ograniczona powyżej progu
  Dyskonto przypisania/efektu jałowego — zob. additionality-and-deadweight

Przykład obliczeniowy

Peterborough One Service (poglądowe liczby z opublikowanych ewaluacji):

Zebrany kapitał inwestorów:      5 000 000 £
Kohorta:                         ~3000 mężczyzn z krótkimi wyrokami w dwóch kohortach
Próg:                            ≥7,5% redukcji zdarzeń ponownych skazań wobec dopasowanej
                                  krajowej grupy porównawczej, albo brak płatności
Wynik kohorty 1:                 8,4% redukcji — poniżej umownej poprzeczki dla samej tej
                                  kohorty według pierwotnych zasad
Wynik łączny/końcowej kohorty:   9,7% redukcji — powyżej progu
Płatność za wynik:               rząd (Ministry of Justice / Big Lottery Fund) płaci
                                  za punkt procentowy powyżej progu, finansując
                                  spłatę inwestorów plus zwrot

Umowa PbR samorządu lokalnego (poglądowa): usługa interwencji rodzinnej jest zamawiana za 4000 £ za skierowaną rodzinę (płatność za działanie) plus 6000 £ za rodzinę bez dalszego skierowania do ochrony dzieci 12 miesięcy po zamknięciu (płatność za rezultat). Skierowano 200 rodzin, zamknięto 150 spraw, 96 pozostaje bez skierowań po 12 miesiącach:

Płatność za działanie = 200 × 4000 £ = 800 000 £
Płatność za rezultat  = 96 × 6000 £  = 576 000 £
Całkowity koszt umowy = 1 376 000 £ za 96 potwierdzonych trwałych rezultatów
Koszt na potwierdzony rezultat ≈ 14 333 £ (zob. cost-per-outcome)

Związek z inżynierią oprogramowania

Płatność za wyniki jest problemem uzgodnienia zachęt, zanim stanie się problemem danych, a system danych jest miejscem, w którym to uzgodnienie albo trzyma, albo pęka. Niezależna, odporna na manipulacje weryfikacja rezultatów to cała gra: zamawiający i dostawca mają przeciwstawne zachęty co do tego, jak kodowany jest niejednoznaczny przypadek, więc system rejestrujący rezultaty potrzebuje śladu audytu, umowy o udostępnianiu danych z niezależnym weryfikatorem (często innym podmiotem niż dostawca, czasem organem statystyki oficjalnej dopasowującym do rejestrów policji lub świadczeń) i niezmienialnego wersjonowania definicji rezultatu — odpowiednik PbR pułapki „redefiniowania metryki” z KPI sektora publicznego. Obliczenia przypisania zależą od metod dopasowanej kohorty z analizy kontrfaktycznej, które potrzebują powtarzalnego, audytowalnego kodu, a nie jednorazowego arkusza. A sama metryka musi być prawdziwym rezultatem, a nie zastępczym działaniem — zob. rezultaty a produkty — bo umowa PbR płacąca za produkt po prostu przemianowuje zwykłe finansowanie z dodatkowym kosztem transakcyjnym. Gdy społeczny zwrot SIB jest modelowany prospektywnie, ta ocena zazwyczaj zapożycza wprost z metodologii społecznego zwrotu z inwestycji.

Pułapki

  • Płacenie za łatwo manipulowalny zastępczy rezultat: „obecność na sesjach” to działanie przebrane za rezultat; nalegaj na miarę odzwierciedlającą faktycznie poszukiwaną zmianę (recydywa, zatrudnienie, stabilność mieszkaniowa).
  • Brak wiarygodnego kontrfaktu: bez dopasowanej grupy porównawczej poprawa mogła być regresją do średniej lub szerszym trendem, a nie skutkiem programu — zob. analiza kontrfaktyczna i dodatkowość i efekt jałowy.
  • Niedoszacowanie kosztów transakcyjnych i ewaluacji: niezależna weryfikacja, powiązanie danych i administracja umową dla programów PbR/SIB rutynowo sięgają dwucyfrowych wartości jako procent wartości umowy — baza dowodowa GO Lab dokumentuje to jako powtarzający się czynnik zaprzestania programów.
  • Selekcja lub „parkowanie”: dostawcy płaceni za rezultat mają bezpośrednią zachętę, by w pierwszej kolejności obsługiwać klientów, którzy i tak najpewniej odniosą sukces, a najtrudniejsze przypadki odsuwać na dalszy plan — zaprojektuj progi płatności lub korektę struktury przypadków, by temu przeciwdziałać.

Źródła