Pwnc 24 o 64· Gwerth cymdeithasol a mesur effaith
Gwerthuso Effaith yn erbyn Gwerthuso Proses
Mae gwerthuso effaith yn gofyn a achosodd rhaglen ei chanlyniadau bwriadedig. Mae gwerthuso proses yn gofyn a gafodd y rhaglen ei chyflenwi mewn gwirionedd fel y'i dyluniwyd — i bwy, ar ba ddos, a gyda pha rwystrau neu hwyluswyr ar hyd y ffordd. Mae'r rhain yn gwestiynau gwahanol sy'n gofyn am ddulliau gwahanol, ac mae Magenta Book Trysorlys EF yn trin comisiynu'r ddau gyda'i gilydd fel arfer safonol, oherwydd mae canlyniad effaith gwan neu ddi-ddim yn amhosibl ei ddehongli ar ei ben ei hun: ni all ddweud wrthych ai damcaniaeth sylfaenol y rhaglen oedd yn anghywir, neu a gafodd damcaniaeth dda ei chyflenwi'n iawn erioed.
Pam mae hyn yn bwysig
Mae gwerthusiadau'r llywodraeth wedi darganfod dro ar ôl tro nad oes unrhyw effaith fesuradwy o raglen, heb unrhyw werthusiad proses i esbonio pam — gan adael comisiynwyr yn methu gwahaniaethu rhwng "nid yw'r syniad hwn yn gweithio" (methiant damcaniaeth) a "ni chafodd y syniad hwn erioed ei drio'n iawn" (methiant gweithredu). Ffurfiolodd canllawiau'r Medical Research Council ar werthuso proses ymyriadau cymhleth, a gyhoeddwyd yn y BMJ yn 2015 ac a ddyfynnir yn eang ochr yn ochr â'r Magenta Book, ffyddlondeb, dos, a chyrhaeddiad fel y pethau craidd y mae'n rhaid i werthusiad proses eu mesur. Mae comisiynu gwerthusiad effaith heb werthusiad proses yn risgio rhoi'r gorau i ddyluniad rhaglen sy'n gadarn mewn gwirionedd, oherwydd fe'i cyflenwyd i hanner y boblogaeth fwriadedig ar ffracsiwn o'r dwysedd bwriadedig — camgymeriad y mae adeiladwr systemau mewn sefyllfa dda i'w atal, oherwydd mae ffyddlondeb cyflenwi'n union yr hyn y gall systemau data gweithredol ei ddal bron mewn amser real.
Y fathemateg
Mae gwerthuso proses yn gofyn:
- A gafodd ei gyflenwi i'r boblogaeth darged, ar y dos/dwysedd a gynlluniwyd?
- A oedd y cyflenwi'n cyfateb i ddyluniad y model rhesymeg / damcaniaeth newid?
- Pa rwystrau neu hwyluswyr a effeithiodd ar y cyflenwi?
Dulliau: gwiriadau ffyddlondeb yn erbyn trothwyon a bennwyd ymlaen llaw, astudiaethau achos,
cyfweliadau, data cyflenwi gweinyddol.
Mae gwerthuso effaith yn gofyn:
- Beth newidiodd, a faint o'r newid hwnnw sy'n briodoladwy i'r rhaglen?
Dulliau: RCT, DiD, PSM, RDD — gweler dulliau gwerthuso effaith — yn erbyn ffactor gwrthffeithiol.
Diagnosis cyfunol:
Dim effaith + ffyddlondeb uchel → methiant damcaniaeth: ni chynhyrchodd y model ei hun y canlyniad
Dim effaith + ffyddlondeb isel → methiant gweithredu: ni chafodd y model ei brofi'n iawn erioed
Effaith wedi'i chanfod + ffyddlondeb uchel → ailadrodd gyda hyder
Effaith wedi'i chanfod + ffyddlondeb isel → ymchwilio ymhellach: gall yr effaith fod yn fregus neu'n
benodol i safle
Enghraifft waith
Awdurdod lleol (rhaglen rianta): mae gwerthusiad effaith gan ddefnyddio gwahaniaeth-mewn-gwahaniaethau yn canfod newid o +2 bwynt canran mewn mesur llesiant plant — nid yw'n ystadegol arwyddocaol. Mae'r gwerthusiad proses, a redwyd ochr yn ochr ag ef, yn canfod mai dim ond 210 o'r 500 teulu a dargedwyd (42% cyrhaeddiad) a gyrhaeddwyd gan y rhaglen, ac o'r rheini, dim ond 95 a gwblhaodd y trothwy ffyddlondeb a bennwyd ymlaen llaw o 75%+ o sesiynau wedi'u mynychu — 19% o'r cyrhaeddiad a gynlluniwyd yn wreiddiol. Casgliad: mae'r canlyniad effaith gwan yn gyson â methiant gweithredu, nid tystiolaeth nad yw model y rhaglen yn gweithio; yr ymateb priodol yw trwsio'r llwybr atgyfeirio a achosodd y gostyngiad o 58%, nid rhoi'r gorau i ddyluniad y rhaglen.
Elusen (rhaglen llythrennedd digidol): mae gwerthusiad effaith yn canfod effaith gref (+18 pwynt canran mewn sgôr hyder digidol), ac mae gwerthusiad proses cyfochrog yn cadarnhau 92% o ffyddlondeb i'r cwricwlwm a gynlluniwyd ar draws pob un o'r 12 safle cyflenwi. Ar y cyd, gall yr ariannwr raddfa'r rhaglen gyda hyder, gan fod yr effaith wedi'i dangos i ddal yn gyson yn hytrach na bod yn gynnyrch un safle anarferol o dda.
Cysylltiad peirianneg feddalwedd
Mae data gwerthuso proses yn union yr hyn y mae systemau cyflenwi mewn sefyllfa dda i'w ddal: presenoldeb yn erbyn cynllun, dosbarth sesiwn, a chwymp ar bob cam o gorn atgyfeirio neu gofrestru — yr un dadansoddeg corn y mae peirianwyr eisoes yn ei hadeiladu ar gyfer nodweddion cynnyrch, wedi'i chymhwyso i biblinell gyflenwi rhaglen gymdeithasol yn lle. Mae bwydo metrigau ffyddlondeb a chyrhaeddiad i reolwyr rhaglenni bron mewn amser real, yn hytrach nag aros am werthusiad diwedd-grant, yn caniatáu trwsio llwybr atgyfeirio wedi torri hanner ffordd trwy'r rhaglen, yn hytrach na'i ddarganfod dim ond ar ôl i'r cyfnod ariannu ddod i ben. Gweler dulliau gwerthuso effaith am y dyluniadau achosol y mae gwerthuso proses yn cael ei baru â nhw, damcaniaeth newid a model rhesymeg am y dyluniad y mae gwerthuso proses yn gwirio ffyddlondeb yn ei erbyn, a gwireddu buddion am olrhain cyflenwi hyd at y canlyniadau a addawyd.
Peryglon
- Comisiynu gwerthusiad effaith ar ei ben ei hun. Wedyn ni ellir dehongli canlyniad di-ddim neu wan fel methiant damcaniaeth neu fethiant gweithredu, sef yn union y gwahaniaeth sy'n bwysig ar gyfer penderfynu beth i'w wneud nesaf.
- Trin gwerthuso proses fel ychwanegiad meddal. Mae angen yr un trylwyredd a meini prawf ffyddlondeb a bennwyd ymlaen llaw ag sydd gan y dyluniad effaith, neu mae'n dadfeilio'n anecdot pan ddaw'r canlyniadau i mewn.
- Cymysgu "ar amser ac o fewn cyllideb" â "wedi'i gyflenwi fel y'i dyluniwyd". Mae gwerthuso proses yn gwirio ffyddlondeb i'r model — dos, grŵp targed, cynnwys — nid statws RAG rheoli prosiectau.
- Peidio â chofrestru trothwyon ffyddlondeb ymlaen llaw. Mae penderfynu ar ôl y digwyddiad beth sy'n cyfrif fel "dos digonol" yn gwneud unrhyw esboniad o ganlyniad effaith siomedig yn edrych fel esgus ôl-hoc.
Ffynonellau
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/