Pwnc 20 o 64· Gwerth cymdeithasol a mesur effaith

Canlyniadau yn erbyn Allbynnau

Allbwn yw'r canlyniad uniongyrchol, y gellir ei gyfrif, o weithgaredd — mae'n bodoli y foment y mae'r cyflenwi'n digwydd, waeth beth fo'r effaith y mae'n ei chael. Canlyniad yw'r newid sy'n dilyn i'r bobl, y lle, neu'r system dan sylw. Mae "500 o bobl wedi mynychu gweithdy chwilio am waith" yn gynnyrch: mae'n wir hyd yn oed os na fydd yr un ohonynt yn cael gwaith. Mae "gwell rhagolygon cyflogaeth i 500 o bobl" yn honiad canlyniad, ac mae angen tystiolaeth o newid, nid tystiolaeth o fynychu yn unig — y dryswch sy'n cynhyrchu mwy o adroddiadau grant camarweiniol na bron unrhyw gamgymeriad mesur arall yn y sector.

Pam mae hyn yn bwysig

Mae Magenta Book Trysorlys EF ac ariannwyr fel Cronfa Gymunedol y Loteri Genedlaethol ill dau'n mynnu adrodd canlyniadau'n benodol am mai allbynnau yw'r hyn y mae rhaglenni'n eu hadrodd yn ddiofyn: maent yn rhad i'w cyfrif, ar gael o hyd, ac yn edrych yn gadarnhaol o hyd. Ni all cyfrif allbwn fyth ostwng o ganlyniad i fethiant rhaglen — mae mwy o sesiynau wedi'u cyflenwi bob amser yn "fwy", tra gall canlyniad ddatgelu nad yw rhaglen yn gweithio. Mae'r Swyddfa Archwilio Genedlaethol wedi beirniadu rhaglenni llywodraeth dro ar ôl tro am adrodd lefelau gweithgarwch fel pe baent yn dystiolaeth o lwyddiant; mae system feddalwedd sydd ond yn hwyluso adrodd allbynnau yn atgyfnerthu hyn yn ddiofyn, gan nad oes angen unrhyw gasglu data dilyniant ar gyfer allbynnau tra bo angen hynny ar gyfer canlyniadau.

Y fathemateg

Nid oes fformiwla, ond mae yna brawf dibynadwy ar gyfer dosbarthu metrig:

Prawf allbwn:   a ellir ei gyfrif ar bwynt y cyflenwi, ac a yw'n wir hyd yn oed os na chaiff y
                  derbynnydd ei effeithio?
Prawf canlyniad:  a oes angen cymhariaeth cyn/ar ôl neu gyda/heb er mwyn iddo fod yn ystyrlon?

Os gall rhif fod yn wir gyda dim budd i unrhyw un, allbwn ydyw.

Mae hyn yn eistedd o fewn cadwyn ehangach y model rhesymeg, ac yn dibynnu ar y camau canlyniad a ddiffinnir mewn damcaniaeth newid; mae troi canlyniad yn arian yn defnyddio'r dulliau yn adenillion cymdeithasol o fuddsoddi.

Enghraifft waith

Awdurdod lleol (cymorth cyflogaeth): allbwn — 500 o bobl yn mynychu gweithdai chwilio am waith. Canlyniad — erbyn dilyniant 12 mis, mae 140 o'r 500 hynny (28%) mewn cyflogaeth gynaliadwy (6+ mis). Mae gan grŵp cymharu â nodweddion tebyg ond heb fynediad i'r rhaglen gyfradd gyflogaeth linell sylfaen o 15% dros yr un cyfnod. Cynnydd canlyniad net: 28% − 15% = 13 pwynt canran, felly amcangyfrifir bod 500 × 0.13 = 65 o bobl ychwanegol mewn gwaith na fyddent fel arall wedi bod — y canlyniad priodoladwy, sy'n wahanol i naill ai'r ffigur mynychu o 500 na'r cyfrif cyflogaeth crai o 140.

Elusen (elusen llythrennedd): allbwn — 1,200 o sesiynau darllen wedi'u cyflenwi i 300 o blant. Canlyniad — gwellodd oedran darllen cyfartalog o 8 mis dros gyfnod o 6 mis, o gymharu â llinell sylfaen o gynnydd naturiol disgwyliedig o 6 mis dros yr un cyfnod. Enillion canlyniad net: 8 − 6 = 2 fis o welliant ychwanegol mewn oedran darllen y plentyn sy'n briodoladwy i'r rhaglen, nid y ffigur llawn o 8 mis.

Cysylltiad peirianneg feddalwedd

Mae cofnodion digwyddiadau a systemau trafodol yn offeru allbynnau bron yn awtomatig — golygfeydd tudalen, sesiynau, tocynnau wedi'u cau, apwyntiadau wedi'u trefnu — am eu bod yn cael eu cynhyrchu gan y system yn gwneud ei gwaith. Mae canlyniadau angen model data sy'n dal yr un unigolyn ar bwynt diweddarach mewn amser, yn erbyn llinell sylfaen neu gymhariaeth, ac mae'n rhaid dylunio hynny'n fwriadol: arolygon dilyniant, cofnodion gweinyddol cysylltiedig, neu garfan gymharu. Bydd offeryn adrodd sydd ond yn cefnogi'r cyntaf yn tywys sefydliad yn dawel tuag at adrodd allbynnau yn unig, ni waeth beth ofynnodd yr ariannwr amdano. Gweler model rhesymeg am ble mae canlyniadau'n eistedd yn y gadwyn atebolrwydd, cost fesul canlyniad am droi'r gwahaniaeth hwn yn fetrig cost uned, a dangosyddion perfformiad allweddol y sector cyhoeddus am y patrwm ehangach o ddewis metrigau.

Peryglon

  • Adrodd allbynnau fel pe baent yn ganlyniadau. Mae "mynychodd 500 o bobl" yn awgrymu budd heb ei ddangos; labelwch fynychu'n gynnyrch yn benodol.
  • Dim llinell sylfaen na grŵp cymharu. Ni all ffigur canlyniad heb ffactor gwrthffeithiol — gweler dadansoddiad gwrthffeithiol — wahanu effaith rhaglen oddi wrth yr hyn a fyddai wedi digwydd beth bynnag.
  • Optimeiddio ar gyfer y metrig a ariennir. Pan fo cyllid wedi'i glymu wrth gyfaint allbwn, mae timau cyflenwi'n rhesymol yn mwyafu mynychu dros newid parhaus, sef modd methiant Deddf Goodhart.
  • Golchi canlyniadau. Ailenwi metrig allbwn gan ddefnyddio iaith sy'n swnio fel canlyniad ("canlyniadau ymgysylltu: 500 o fynychwyr") heb unrhyw fesuriad dilyniant y tu ôl iddo.

Ffynonellau