Emne 20 av 64· Samfunnsverdi og effektmåling

Utfall versus leveranser

En leveranse (output) er det direkte, tellbare produktet av en aktivitet – den finnes i det øyeblikket tjenesten leveres, uavhengig av hvilken virkning den har. Et utfall (outcome) er endringen som følger for menneskene, stedet eller systemet som er involvert. «500 personer deltok på et jobbsøkerkurs» er en leveranse: det er sant selv om ingen av dem finner arbeid. «500 personers sjanser på arbeidsmarkedet ble bedre» er en påstand om utfall, og den krever dokumentasjon på endring, ikke bare på oppmøte – en forveksling som gir flere villedende tilskuddsrapporter enn nesten noen annen målefeil i sektoren.

Hvorfor det er viktig

HM Treasurys Magenta Book og finansiører som National Lottery Community Fund krever begge rapportering av utfall nettopp fordi leveranser er det programmer rapporterer som standard: de er billige å telle, alltid tilgjengelige og ser alltid positive ut. Et leveransetall kan bokstavelig talt aldri gå ned fordi programmet mislykkes – flere gjennomførte økter er alltid «mer», mens et utfall kan avsløre at et program ikke virker. National Audit Office har gjentatte ganger kritisert offentlige programmer for å rapportere aktivitetsnivåer som om de var bevis på suksess; et programvaresystem som bare gjør leveranser enkle å rapportere, forsterker dette som standard, fordi leveranser ikke krever noen datainnsamling i etterkant, mens utfall gjør det.

Regnestykket

Det finnes ingen formel, men det finnes en pålitelig test for å klassifisere et mål:

Leveransetest: kan det telles der tjenesten leveres, og er det sant selv om mottakeren er upåvirket?
Utfallstest:   krever det en sammenligning før/etter eller med/uten for å være meningsfullt?

Hvis et tall kan være sant uten nytte for noen, er det en leveranse.

Dette inngår i den bredere kjeden i den logiske modellen og avhenger av utfallskoblingene definert i en endringsteori; å gjøre et utfall om til penger bruker metodene i sosial avkastning på investering.

Utregnet eksempel

Kommune (sysselsettingsstøtte): leveranse – 500 personer deltok på jobbsøkerkurs. Utfall – ved oppfølging etter 12 måneder er 140 av de 500 (28 %) i varig arbeid (6+ måneder). En sammenligningsgruppe med tilsvarende kjennetegn, men uten tilgang til programmet, har en basislinje for sysselsetting på 15 % over samme periode. Netto utfallsløft: 28 % − 15 % = 13 prosentpoeng, slik at anslagsvis 500 × 0,13 = 65 flere personer er i arbeid som ellers ikke ville vært det – det tilskrivbare utfallet, forskjellig fra både oppmøtetallet 500 og det rå sysselsettingstallet 140.

Veldedig organisasjon (leseorganisasjon): leveranse – 1 200 leseøkter gjennomført for 300 barn. Utfall – gjennomsnittlig lesealder bedret med 8 måneder over en periode på 6 måneder, mot en forventet naturlig utvikling på 6 måneder over de samme 6 månedene. Netto utfallsgevinst: 8 − 6 = 2 måneders ekstra bedring i lesealder per barn som kan tilskrives programmet, ikke hele tallet på 8 måneder.

Sammenheng med programvareutvikling

Hendelseslogger og transaksjonssystemer instrumenterer leveranser nesten automatisk – sidevisninger, økter, avsluttede saker, bestilte timer – fordi de genereres av systemet som gjør jobben sin. Utfall krever en datamodell som fanger den samme personen på et senere tidspunkt mot en basislinje eller sammenligning, noe som må utformes bevisst: oppfølgingsundersøkelser, koblede forvaltningsregistre eller en sammenligningskohort. Et rapporteringsverktøy som bare støtter det første, vil stille og rolig styre en organisasjon mot ren leveranserapportering uansett hva finansiøren ba om. Se logisk modell for hvor utfall står i ansvarlighetskjeden, kostnad per utfall for å gjøre dette skillet om til et enhetskostnadsmål, og nøkkeltall i offentlig sektor for det bredere mønsteret ved valg av mål.

Fallgruver

  • Å rapportere leveranser som om de var utfall. «500 personer deltok» antyder nytte uten å vise den; merk oppmøte uttrykkelig som en leveranse.
  • Ingen basislinje eller sammenligningsgruppe. Et utfallstall uten kontrafaktisk scenario – se kontrafaktisk analyse – kan ikke skille programvirkning fra det som uansett ville ha skjedd.
  • Å optimalisere for det finansierte målet. Når finansiering er knyttet til leveransevolum, maksimerer leveringsteam rasjonelt oppmøte framfor varig endring, en feilmodus etter Goodharts lov.
  • Utfallsvasking. Å gi et leveransemål nytt navn med utfallsklingende språk («engasjementsutfall: 500 deltakere») uten noen oppfølgingsmåling bak.

Kilder