Aihe 25 / 64· Valtionhallinnon suorituskyky- ja toimitusmittarit

Julkisen sektorin suorituskykymittarit (KPI)

Keskeinen suorituskykymittari (KPI, key performance indicator) on valittu, seurattu mitta, joka edustaa sitä, hoitaako julkinen palvelu tehtävänsä hyvin. Hallinnossa KPI:n valinta ei koskaan ole neutraali: koska KPI:t kytkeytyvät budjetteihin, vertailulistoihin ja urakehitykseen, yhden valitseminen muokkaa kaikkien sen alavirrassa olevien käyttäytymistä, usein enemmän kuin palvelun luonut politiikka.

Miksi tällä on merkitystä

Charles Goodhartin vuoden 1975 havainto rahapolitiikasta — jonka Marilyn Strathern myöhemmin popularisoi muodossa "kun mittarista tulee tavoite, se lakkaa olemasta hyvä mittari" — on julkisen sektorin suorituskyvyn johtamisen tärkein yksittäinen varoitusmerkintä. Järjestelmän kuvaamiseksi valittu KPI alkaa vääristää kyseistä järjestelmää heti, kun resursointi, palkka tai poliittinen selviytyminen sidotaan siihen. Kanoninen havainnollistus on NHS:n ambulanssien vasteajat: kun kahdeksan minuutin Category A -vastetavoitteesta tuli sitova, joidenkin trustien osoitettiin "pinonneen" ambulansseja aivan vasteaikakellon ulkopuolelle tai luokitelleen puheluita uudelleen saavuttaakseen luvun muuttamatta potilastuloksia. Ison-Britannian National Audit Officen ohjeistus suorituskykyindikaattoreiden valinnasta ja käytöstä — esitetty sen value-for-money-raporteissa sekä "Performance Measurement by Regulators" ja "Choosing the Right FABRIC" -viitekehyksissä (Fit for purpose, Appropriate, Balanced, Robust, Integrated, Cost-effective) — on olemassa juuri siksi, että ministeriöt valitsivat toistuvasti indikaattoreita, jotka olivat helppoja raportoida eivätkä sellaisia, joita oli vaikea manipuloida. Ohjelmistoinsinööri, joka toimittaa kojelaudan, jota vastaan ministeri tai johtaja arvioidaan, suunnittelee — tarkoittipa hän sitä tai ei — julkisen laitoksen kannustinrakennetta.

Matematiikka

KPI-suunnittelu on viitekehysluonteinen aihe, mutta ehdokas-KPI:n arviointi on toistettava tarkistuslista, ei kaava:

Pisteytä jokainen ehdokas-KPI seuraavia vastaan:
  Fit for purpose  — mittaako se tulosta vai useamman askeleen päässä olevaa korviketta?
  Appropriate      — kuuluuko se ihmisille, jotka voivat todella vaikuttaa siihen?
  Balanced         — onko sille pari vastamittari, joka paljastaa manipuloinnin?
  Robust           — kestääkö se tarkastuksen vai onko se itseraportoitu ja todentamaton?
  Integrated       — sopiiko se laajempaan joukkoon vai työntääkö se toista KPI:tä vastaan?
  Cost-effective   — maksaako sen kerääminen enemmän kuin päätös, jota se tukee?

Ennakoivat vs. jälkikäteen vahvistavat:
  Ennakoiva indikaattori      → ennustaa tulevaa tulosta, mutta usein manipuloitavissa
                                 (esim. puhelut vastattu <60 s)
  Jälkikäteen vahvistava ind. → vahvistaa tuloksen tapahtuneen, mutta tulee liian myöhään
                                 ohjaamiseen (esim. vuosittainen tyytyväisyyskysely)
  Puolustettava KPI-joukko yhdistää vähintään yhden kumpaakin tavoitetta kohti.

Työstetty esimerkki

Ambulanssitrusti: trusti raportoi Category A (henkeä uhkaava) -vasteaika-KPI:n "75 % puheluista vastattu 8 minuutin sisällä". Yhdellä neljänneksellä Category A -puheluita tulee 6 000; 4 500 täyttää 8 minuutin rajan, mikä antaa 75,0 % — näennäisesti tavoitteessa.

Otsikko-KPI = 4 500 / 6 000 × 100 = 75,0 %  (täyttää 75 %:n kynnyksen)

Mutta Goodhart-auditointi lisää vastamittarin: hitaimman 10 %:n puheluiden keskimääräinen vasteaika.

Hitaimman desiilin keskimääräinen vaste = 34 minuuttia (ylös 19 minuutista kaksi vuotta aiemmin)

Trusti saavuttaa tavoitteen, kun häntä — puhelut, jotka ovat todennäköisimmin aidosti henkeä uhkaavia, kun triage on epätäydellinen — on huonontunut paljon, koska miehistöjä priorisoidaan kohti puheluita lähellä 8 minuutin kalliota eikä kliinisen kiireellisyyden mukaan. Yksittäinen KPI kertoi väärän tarinan; paritettu KPI kertoi oikean.

Yhteys ohjelmistotekniikkaan

Valtionhallinnolle suorituskykykojelautoja rakentavat insinöörit suunnittelevat toiminnallisesti organisaation kannustin-API:a. Käytännön seuraukset: instrumentoi nimittäjä yhtä tarkasti kuin osoittaja (paljaana prosenttina raportoitu KPI kutsuu nimittäjän manipulointia — ks. kustannus transaktiota kohti saman ansan osalta digitaalisissa palveluissa); rakenna vastamittarit samaan kojelautaan eikä erilliseen raporttiin, jota kukaan ei lue, jotta manipulointi näkyy päätöksentekohetkellä; ja versioi KPI-määritelmä, koska hiljainen uudelleenmäärittely (sen muuttaminen, mikä lasketaan "puheluksi", "tapaukseksi" tai "suoritukseksi") vastaa toiminnallisesti tavoitteen muuttamista ilmoittamatta siitä. Julkisen arvon tuloskortti on yksi jäsennelty tapa estää yksittäistä KPI:tä lukemasta erillisenä, ja tuloksiin perustuva vastuullisuus on kurinalaisuutta valita väestötason KPI:t, joita yksi tiimi ei voi yksipuolisesti vääristää.

Sudenkuopat

  • Helposti kerättävän mittarin valitseminen merkityksellisen sijaan: puheluun vastaamisen aika on triviaali kirjata; ratkaisiko puhelu kansalaisen ongelman, ei ole — mutta vain jälkimmäinen on tulos. Vastusta oletusta käyttää sitä, mitä järjestelmä jo tuottaa.
  • Ei vastamittaria: mikä tahansa rahaan tai maineeseen sidottu KPI tulee olemaan manipuloitu marginaalissa; toimita se parillisen mittarin kanssa, joka paljastaa todennäköisen manipulointivektorin, ennen julkaisua.
  • Mittarin uudelleenmäärittely ilman muutoslokia: "vastaanotettujen puheluiden" vaihtaminen "vastattuihin puheluihin" trendin imartelemiseksi tuhoaa aikasarjan uskottavuuden heti kun se huomataan — julkaise aina määritelmien muutoslogi lukujen rinnalla.
  • Toiminnan sekoittaminen tulokseen: suoritettujen tarkastusten laskeminen on suorite; vaatimustenmukaisuuteen saatettujen tilojen laskeminen on lähempänä tulosta (ks. tulokset vs. suoritteet).

Lähteet

  • National Audit Office, "Choosing the Right FABRIC: A Framework for Performance Information." https://www.nao.org.uk/
  • Marilyn Strathern, "'Improving Ratings': Audit in the British University System," Social Anthropology, 1997 (Goodhartin lain yleisesti siteerattu muotoilu).
  • National Audit Office, tutkimukset NHS:n ambulanssipalvelun suorituskykyraportoinnista. https://www.nao.org.uk/