20. téma 64 közül· Társadalmi érték és hatásmérés

Eredmények és kibocsátások

A kibocsátás (output) egy tevékenység közvetlen, megszámlálható terméke — abban a pillanatban létezik, amikor a szállítás megtörténik, függetlenül attól, milyen hatása van. Az eredmény (outcome) az a változás, amely ezt követően az érintett embereknél, helyen vagy rendszerben bekövetkezik. „500 ember vett részt egy álláskeresési workshopon” kibocsátás: akkor is igaz, ha egyikük sem talál munkát. „500 ember elhelyezkedési esélyei javultak” eredményállítás, és a változás bizonyítékát igényli, nem csupán a részvételét — éppen ez az összekeverés okozza a szektorban a legtöbb félrevezető támogatási jelentést a mérési hibák közül szinte bármelyiknél gyakrabban.

Miért fontos

A HM Treasury Magenta Bookja és az olyan finanszírozók, mint a National Lottery Community Fund, kifejezetten azért követelik meg az eredményjelentést, mert a programok alapértelmezetten kibocsátásokról számolnak be: olcsó megszámolni őket, mindig elérhetők, és mindig pozitívnak látszanak. A kibocsátásszám szó szerint soha nem csökkenhet amiatt, hogy a program kudarcot vall — több lebonyolított alkalom mindig „több”, míg egy eredmény felfedheti, hogy a program nem működik. A National Audit Office ismételten bírálta a kormányzati programokat, amiért a tevékenységi szinteket a siker bizonyítékaként jelentették; az a szoftverrendszer, amely csak a kibocsátások jelentését könnyíti meg, ezt alapértelmezetten megerősíti, mert a kibocsátásokhoz nem kell utánkövetési adatgyűjtés, az eredményekhez igen.

A matematika

Nincs képlet, de van megbízható próba egy mutató besorolására:

Kibocsátás-próba: megszámlálható-e a szállítás pontján, és igaz-e akkor is, ha a címzettet nem érinti?
Eredmény-próba:   kell-e hozzá előtte/utána vagy beavatkozással/anélkül összehasonlítás ahhoz, hogy értelmes legyen?

Ha egy szám igaz lehet úgy is, hogy senkinek nincs haszna belőle, akkor kibocsátás.

Ez a tágabb logikai modell láncán belül helyezkedik el, és a változáselméletben meghatározott eredmény-láncszemekre támaszkodik; az eredmény pénzre váltásához a társadalmi megtérülés módszerei szolgálnak.

Kidolgozott példa

Helyi önkormányzat (foglalkoztatási támogatás): kibocsátás — 500 ember vett részt álláskeresési workshopokon. Eredmény — a 12 hónapos utánkövetésnél ezek közül az 500-ból 140 (28%) tartós (6+ hónapos) foglalkoztatásban van. A hasonló jellemzőkkel rendelkező, de a programhoz hozzáférést nem kapó összehasonlító csoport foglalkoztatási alaparánya ugyanabban az időszakban 15%. Nettó eredményjavulás: 28% − 15% = 13 százalékpont, vagyis becslés szerint 500 × 0,13 = 65 további ember dolgozik, akik egyébként nem dolgoznának — ez a tulajdonítható eredmény, amely különbözik mind az 500-as részvételi számtól, mind a 140-es nyers foglalkoztatási számtól.

Jótékonysági szervezet (olvasástámogató): kibocsátás — 1200 olvasási alkalom 300 gyermeknek. Eredmény — az átlagos olvasási kor 6 hónap alatt 8 hónappal javult, a várt természetes 6 hónapos fejlődési alapszinttel szemben. Nettó eredménynyereség: 8 − 6 = 2 hónap többlet-olvasáskor-javulás gyermekenként, amely a programnak tulajdonítható, nem a teljes 8 hónapos szám.

Kapcsolat a szoftverfejlesztéssel

Az eseménynaplók és tranzakciós rendszerek a kibocsátásokat szinte automatikusan műszerezik — oldalmegtekintések, munkamenetek, lezárt jegyek, lefoglalt időpontok —, mert a rendszer a dolga végzése közben állítja elő őket. Az eredményekhez olyan adatmodell kell, amely ugyanazt az egyént egy későbbi időpontban rögzíti egy alapszinttel vagy összehasonlítással szemben, ezt pedig szándékosan kell beépíteni: utánkövető felmérések, összekapcsolt adminisztratív nyilvántartások vagy összehasonlító kohorsz. Az a jelentéskészítő eszköz, amely csak az előbbit támogatja, észrevétlenül a kibocsátás-alapú jelentés felé tereli a szervezetet, bármit kért is a finanszírozó. Az eredmények elszámoltathatósági láncban elfoglalt helyéről lásd a logikai modellt, e megkülönböztetés egységköltség-mutatóvá alakításáról a költség eredményenként témát, a mutatóválasztás tágabb mintájáról pedig a közszféra-KPI-ket.

Buktatók

  • Kibocsátások jelentése eredményként. Az „500 ember részt vett” hasznot sugall anélkül, hogy bizonyítaná; a részvételt kifejezetten kibocsátásként címkézzék.
  • Nincs alapszint vagy összehasonlító csoport. Az olyan eredményszám, amely mögött nincs kontrafaktuális — lásd kontrafaktuális elemzés —, nem tudja elkülöníteni a program hatását attól, ami úgyis megtörtént volna.
  • A finanszírozott mutatóra optimalizálás. Ha a finanszírozás a kibocsátás volumenéhez kötött, a szállító csapatok racionálisan a részvételt maximalizálják a tartós változás helyett, ami a Goodhart-törvény szerinti hibamód.
  • Eredménymosás. Egy kibocsátási mutató átcímkézése eredményhangzású nyelvezettel („bevonódási eredmények: 500 résztvevő”) anélkül, hogy bármilyen utánkövető mérés állna mögötte.

Források