Efni 20 af 64· Mæling á samfélagslegu gildi og áhrifum

Útkoma og afurðir

Afurð er bein, teljanleg framleiðsla athafnar — hún er til um leið og afhending á sér stað, óháð því hvaða áhrif hún hefur. Útkoma er sú breyting sem fylgir fyrir fólkið, staðinn eða kerfið sem í hlut á. „500 manns sóttu atvinnuleitarnámskeið“ er afurð: það er satt jafnvel þótt enginn þeirra finni vinnu. „Atvinnuhorfur 500 manns bötnuðu“ er fullyrðing um útkomu, og hún krefst sönnunargagna um breytingu, ekki aðeins sönnunargagna um mætingu — ruglingurinn sem veldur fleiri villandi styrkjaskýrslum en nær allar aðrar mælingarvillur í geiranum.

Hvers vegna það skiptir máli

Magenta Book hjá HM Treasury og fjármögnunaraðilar á borð við National Lottery Community Fund krefjast báðir skýrslugjafar um útkomu einmitt vegna þess að afurðir eru það sem áætlanir tilkynna sjálfgefið: þær eru ódýrar í talningu, alltaf tiltækar og líta alltaf jákvætt út. Afurðatala getur bókstaflega aldrei lækkað vegna þess að áætlunin mistakist — fleiri afhentar lotur eru alltaf „meira“, á meðan útkoma getur leitt í ljós að áætlun virkar ekki. National Audit Office hefur ítrekað gagnrýnt opinberar áætlanir fyrir að tilkynna umfang starfsemi eins og það væri sönnun árangurs; kerfi sem aðeins gerir afurðir auðveldar að tilkynna styrkir þetta sjálfgefið, því afurðir þurfa enga eftirfylgnigagnasöfnun og útkomur þurfa hana.

Stærðfræðin

Engin formúla er til, en til er áreiðanlegt próf til að flokka mælikvarða:

Afurðarpróf:  er hægt að telja við afhendingu, satt jafnvel þótt viðtakandinn verði ekki fyrir áhrifum?
Útkomupróf:   þarf fyrir/eftir eða með/án samanburð til að það sé marktækt?

Ef tala getur verið sönn án nokkurs ávinnings fyrir nokkurn mann er hún afurð.

Þetta situr innan víðari keðju rökvirknilíkan og byggir á útkomutenglunum sem skilgreindir eru í breytingakenning; að breyta útkomu í peninga notar aðferðirnar í samfélagsleg arðsemi fjárfestingar.

Dæmi útreiknað

Sveitarfélag (atvinnustuðningur): afurð — 500 manns sóttu atvinnuleitarnámskeið. Útkoma — við 12 mánaða eftirfylgni eru 140 af þessum 500 (28%) í varanlegri vinnu (6+ mánuði). Samanburðarhópur með svipaða eiginleika en án aðgangs að áætluninni hefur 15% grunnatvinnuhlutfall yfir sama tímabil. Hrein aukning útkomu: 28% − 15% = 13 prósentustig, svo áætlað 500 × 0,13 = 65 viðbótareinstaklingar eru í vinnu sem væru það ekki annars — rekjanleg útkoma, aðgreind frá bæði 500 mætingartölunni og 140 hráu atvinnutölunni.

Góðgerðarfélag (læsisfélag): afurð — 1.200 lestrarlotur afhentar 300 börnum. Útkoma — meðallestraraldur batnaði um 8 mánuði á 6 mánaða tímabili, á móti væntri náttúrulegri framvindu á 6 mánuðum upp á 6 mánuði. Hrein útkomubót: 8 − 6 = 2 mánaða viðbótarbati lestraraldurs á barn sem rekja má til áætlunarinnar, ekki allir 8 mánuðirnir.

Tengsl við hugbúnaðarverkfræði

Atburðaskrár og færslukerfi mæla afurðir nánast sjálfkrafa — síðuflettingar, lotur, lokaðar verkbeiðnir, bókaðir tímar — því þær verða til þegar kerfið vinnur sitt verk. Útkomur krefjast gagnalíkans sem fangar sama einstaklinginn á síðari tímapunkti gagnvart grunnlínu eða samanburði, sem verður að hanna vísvitandi inn: eftirfylgnikannanir, tengd stjórnsýsluskjöl eða samanburðarhópur. Skýrslutól sem aðeins styður hið fyrrnefnda mun hljóðlega ýta stofnun í átt að skýrslugjöf eingöngu með afurðum, sama hvað fjármögnunaraðilinn bað um. Sjá rökvirknilíkan fyrir hvar útkomur sitja í ábyrgðarkeðjunni, kostnaður á hverja útkomu fyrir að breyta þessum greinarmun í einingarkostnaðarmælikvarða, og lykilárangursmælikvarðar opinbera geirans fyrir víðara mynstur við val á mælikvörðum.

Gildrur

  • Að tilkynna afurðir eins og þær væru útkomur. „500 manns mættu“ gefur til kynna ávinning án þess að sýna hann; merktu mætingu skýrt sem afurð.
  • Engin grunnlína eða samanburðarhópur. Útkomutala án mótstaðreyndar — sjá mótstaðreyndagreining — getur ekki aðgreint áhrif áætlunar frá því sem hefði gerst hvort eð er.
  • Að bestað sé fyrir mælikvarðann sem fjármagnar. Þegar fjármögnun er bundin afurðamagni hámarka afhendingarteymi skynsamlega mætingu fram yfir varanlega breytingu, bilunarháttur samkvæmt lögmáli Goodhart.
  • Útkomuþvottur. Að endurmerkja afurðarmælikvarða með orðalagi sem hljómar eins og útkoma („þátttökuútkomur: 500 þátttakendur“) án nokkurrar eftirfylgnimælingar að baki.

Heimildir