Aihe 30 / 64· Valtionhallinnon suorituskyky- ja toimitusmittarit

Kansalaistyytyväisyysmittarit

Kansalaistyytyväisyysmittarit mittaavat, kuinka ihmiset arvioivat suoran kokemuksensa julkisesta palvelusta — erillään luottamuksesta instituutioihin yleisesti ja erillään siitä, saavuttiko palvelu todella hyvän tuloksen. Palvelu voi olla pidetty ja tehoton tai tehokas ja epämiellyttävä; näiden kahden välinen kuilu on itsessään diagnostista tietoa, jota toimitustiimin tulisi seurata.

Miksi tällä on merkitystä

Tyytyväisyyttä mitataan kahdella eri tasolla, jotka sekoitetaan rutiininomaisesti. Palvelutasolla Ison-Britannian jo lakkautettu Performance Platform ja nykyinen GOV.UK-palvelukäsikirja edellyttävät palvelukohtaista tyytyväisyyskyselyä (tyypillisesti viisiportainen "erittäin tyytyväinen" – "erittäin tyytymätön" -asteikko, toteutettuna transaktiohetkellä) yhtenä neljästä pakollisesta palvelun KPI:stä — ks. palvelustandardit ja transaktiomittarit. Instituutiotasolla Ison-Britannian Civil Service People Survey mittaa työntekijöiden sitoutumista ja kokemusta vuosittain jokaisessa keskushallinnon ministeriössä, ja erikseen OECD:n "Trust in Government" -ohjelma kyselee kansalaisten luottamusta kansalliseen hallitukseen jäsenmaissa, seuraten pitkän aikavälin laskun ja elpymisen kaavaa, jota kriisit muokkaavat voimakkaasti (vuoden 2008 finanssikriisi ja COVID-19-pandemia tuottivat molemmat jyrkkiä, näkyviä liikkeitä OECD:n luottamusluvuissa). Syy, miksi kansalaisille suunnattuja palveluja rakentavien insinöörien on pidettävä tyytyväisyys ja tulos erillään, on palvelumuotoilun tunnettu epäonnistumistapa: kauniisti suunniteltu, helppokäyttöinen digitaalinen etuushakemuslomake voi saada erittäin korkean tyytyväisyyden, vaikka taustalla oleva politiikka — kelpoisuussäännöt, käsittelyjonot, myönnetyt määrät — jättää hakijan paremmassa asemassa vain näennäisesti. Tyytyväisyys mittaa käyttöliittymää; se ei mittaa sen takana toimitettua arvoa.

Matematiikka

Nettotyytyväisyys = % tyytyväisiä (tai erittäin tyytyväisiä) − % tyytymättömiä (tai erittäin tyytymättömiä)
                    (neutraalit/ei mielipidettä -vastaukset jätetään pois molemmista termeistä, mutta
                    lasketaan mukaan vastausperustaan kunkin prosentin laskemiseksi)

Tyytyväisyys–tulos-kuilu = tyytyväisyyspisteet − tuloksen saavuttamispisteet
                    (molemmat normalisoitu 0–100; suuri positiivinen kuilu viittaa
                    palveluun, joka "tuntuu hyvältä" mutta alisuoriutuu sisällössä)

Luottamusindeksi (OECD-tyylinen) = % kyselyn vastaajista, jotka vastaavat "kyllä" kysymykseen
                    "luotatko [kansalliseen hallitukseen]?"
                    seurattuna aikasarjana, tyypillisesti eriteltynä
                    iän, tulojen ja koulutuksen mukaan

Työstetty esimerkki

Paikallisviranomaisen kunnallisveron sähköinen laskutuspalvelu: onnistuneen transaktion hetkellä toteutettu tyytyväisyyskysely näyttää 2 400 vastaajaa: 1 650 tyytyväistä/erittäin tyytyväistä, 250 tyytymätöntä/erittäin tyytymätöntä, 500 neutraalia.

Nettotyytyväisyys = (1 650/2 400 × 100) − (250/2 400 × 100)
                  = 68,75 % − 10,42 %
                  = +58,3 nettotyytyväisyys

Tämä näyttää vahvalta erikseen tarkasteltuna. Mutta kysely näytetään vain käyttäjille, jotka onnistuneesti suorittavat transaktion — tunnettu mittausharha (ks. sudenkuopat alla). Sen yhdistäminen suoritusasteen mittariin aiheesta palvelustandardit ja transaktiomittarit osoittaa, että suoritusaste on vain 71 %, mikä tarkoittaa:

Todellista väestön tyytyväisyyttä ei mitata 29 %:lle, jotka hylkäsivät polun —
uskottavasti tyytymättömin kohortti, koska hylkääminen on itsessään vahva negatiivinen
signaali, jota kysely ei koskaan tavoita.

Kansallisen tason havainnollistus (OECD-tyylisen luottamussarjan rakenne): kansallisen hallituksen luottamus raportoitu 42 %:ksi vuonna 1, laskien 34 %:iin vuonna 2 (kriisivuosi) ja elpyen 39 %:iin vuonna 3 — kehitys, joka on tyypillinen sokin ja osittaisen elpymisen kaava, jonka OECD dokumentoi jäsenmaissa suurten kriisien jälkeen.

Yhteys ohjelmistotekniikkaan

Instrumentoi tyytyväisyyskyselyt jokaiseen merkitykselliseen käyttäjäpolun poistumispisteeseen, ei vain onnistuneeseen suoritukseen — tämän alan yksittäinen yleisin insinöörivirhe, joka muuttaa tyytyväisyysmittarin hiljaa selviytymisharhan vääristämäksi turhamaisuusmittariksi. Mahdollisuuksien mukaan yhdistä tyytyväisyyspisteet suoritus- tai tulosmittariin samalla kojelaudalla, jotta tiimi ei voi juhlia nousevaa tyytyväisyyttä suoritusasteen hiljaa laskiessa (ks. kustannus transaktiota kohti ja digitaalinen osallisuus siitä, ketkä jäävät pois digitaalisesta tyytyväisyysotannasta alun alkaenkin — ei-digitaaliset ja avustetusti digitaaliset käyttäjät ovat järjestelmällisesti aliedustettuina palvelun sisäisissä kyselyissä). Tyytyväisyys- ja luottamusdata syöttää myös suoraan Mooren strategisen kolmion legitimiteettikylkeä ja kuuluu julkisen arvon tuloskortin "asiakas"- ja "legitimiteetti"-näkökulmiin — ks. luottamus- ja legitimiteettimittarit tämän palvelutason mittarin instituutiotason vastineesta.

Sudenkuopat

  • Selviytymisharha suorituspisteen kyselyissä: käyttäjät, jotka hylkäävät polun, eivät koskaan näe kyselyä, joten korkea palvelun sisäinen tyytyväisyyspistemäärä voi esiintyä rinnakkain matalan suoritusasteen ja suuren näkymättömän tyytymättömien keskeyttäneiden joukon kanssa.
  • Tyytyväisyyden käsitteleminen tuloksen korvikkeena: hyvin suunniteltu käyttöliittymä huonosti suunnitellulle politiikalle saa hyvät tyytyväisyyspisteet ja huonot tulospisteet — raportoi aina molemmat, älä koskaan toista toisen sijasta.
  • Pienet, edustamattomat otokset raportoituna valetarkkuudella: muutaman sadan itsevalikoituneen vastaajan tyytyväisyyspistemäärä raportoituna yhden desimaalin tarkkuudella antaa ymmärtää varmuutta, jota otoskoko ei voi tukea.
  • Demografisen erittelyn sivuuttaminen: kansalliset luottamus- ja tyytyväisyysluvut, joita ei eritellä iän, tulojen, vammaisuuden tai digitaalisen pääsyn mukaan, voivat peittää jyrkästi poikkeavia kokemuksia ryhmien välillä — kaava, jonka OECD:n omat Trust in Government -julkaisut nimenomaisesti erittelevät.

Lähteet