Tem 24 a 64· Talvedh sokel ha musur effeyth
Arvreythyans Effeyth erbyn Arvreythyans Argerdh
Arvreythyans effeyth a wovyn a wrug program y dhevethyow ervirys. Arvreythyans argerdh a wovyn a veu an program delivrys yn gwir herwydh an dyssynnans — dhe biw, orth pyth dosis, ha gans pyth lettyow po alhwedhow a-dro dhodho. An re ma yw govynnow dyffrans a res fordhow dyffrans, ha Magenta Book HM Treasury a gemmer aga dew dhe vos komysyonys warbarth avel arfer savonek, drefen bos deveth effeyth gwann po null dyskonvedhys y honan: ny yll leverel dhis mar o teori awoles an program kamm, po mar veu teori da hepken nevra delivrys yn ewn.
Perag y talvos
Arvreythyansow governans re gavas lies tro nyns eus effeyth musurys dhyworth program heb arvreythyans argerdh vyth dh'y dhisplegya — ow-asa komysyoneryon heb kyfreth dhe dhyffrans "an tybyans ma ny wra ober" (fyllel teori) ha "an tybyans ma ny veu assayys yn ewn nevra" (fyllel gweythresans). Gidyans an Medical Research Council war arvreythyans argerdh ebyrnansow kowrek, dyllys y'n BMJ yn 2015 ha kyrgys yn ledan ryb an Magenta Book, a furvyas ewnder, dosis, ha skopen avel an pyth kresek a res arvreythyans argerdh dhe vusura. Komysyonya arvreythyans effeyth heb arvreythyans argerdh a beryl dyvya dyssynnans program gwir sawthek drefen y vos delivrys dhe hanter an poblans ervirys orth tokyn a'n kreffder ervirys — kammweyth a yll dhyssynnyer systemys y thevalla yn ta, drefen bos ewnder delivrans yn tien an pyth a yll systemys data oberyansek y gemmeres ogas yn termyn gwir.
An matematik
Arvreythyans argerdh a wovyn:
- A veu delivrys dhe'n poblans kendon, orth dosis/kreffder towlys?
- A hevelas delivrans orth dyssynnans model lojyk / teori a chanj?
- Pyth lettyow po alhwedhow a dhegresyas delivrans?
Fordhow: whilansow ewnder erbyn trothow rag-dyffrys, studhyansow kas, kesklappow,
data delivrans administrasyon.
Arvreythyans effeyth a wovyn:
- Pyth a chanjyas, ha pygemmys a'n chanj na yw attribusys dhe'n program?
Fordhow: RCT, DiD, PSM, RDD — mir impact-evaluation-methods — erbyn kontrafaktel.
Dhiagnosys kemmyskys:
Heb effeyth + ewnder uhel → fyllel teori: an model y honan ny dhrug an deveth
Heb effeyth + ewnder isel → fyllel gweythresans: an model ny veu assayys yn ewn
Effeyth kevys + ewnder uhel → dasdhyghtya gans fydhyans
Effeyth kevys + ewnder isel → whithra pelleha: an effeyth a yll bos tevlys po ledhek-tyller
Ensampel oberys
Awtorita leel (program perghennyeth): arvreythyans effeyth ow-devnydhya dyffrans-yn-dyffransow a gav chanj a +2 poynt kansran yn musur sewenyans flogh — nyns yw statystek bryntyn. An arvreythyans argerdh, gwrys ryb, a gav an program dhe dhos hepken dhe 210 a'n 500 teylu kendonek (42% skopen), ha anedha, hepken 95 a gowlwras trothow ewnder rag-dyffrys a 75%+ a'n sessyons yn dewedh — 19% a'n skopen kynsa towlys. Deveth: an deveth effeyth gwann yw kehevelys gans fyllel gweythresans, nyns yw dustuni na wra model an program ober; an gorthyp ewn yw ewnhe an hyns kerghyans a dhrug an kolli 58%, nyns yw gasa dyssynnans an program.
Kevarghadow (program skians didhital): arvreythyans effeyth a gav effeyth krev (+18 poynt kansran war skor fydhyans didhital), hag arvreythyans argerdh ryb a gonfirm 92% ewnder dhe'n kurrikulum towlys dres oll an 12 le delivrans. Kemmyskys, an skoodhyer a yll skeulya an program gans fydhyans, drefen y vos diskwedhys bos an effeyth ow-sevel yn kehevelep, nyns yw deveth unn le arbennek da.
Kevrenn gans ynjynnerieth medhelweyth
Data arvreythyans argerdh yw an pyth a yll systemys delivrans y gemmeres yn ta: kowldhyans erbyn towl, dosis sessyon, ha gwil-dhe-lemmyn orth pub kam a'n funnel kerghyans po rolya — an keth analytiks funnel a wra ynjynnoryon kyns rag arvydhyow produkt, gweythresys war bibyer delivrans program kevredhek yn le. Ri metryksow ewnder ha skopen dhe vaneghoryon program ogas yn termyn gwir, yn le a wortos arvreythyans diwedh-grant, a asa hyns kerghyans terrys dhe vos ewnhes yn kres-program yn le a vos kefys hepken wosa diwedh an termyn arghansa. Mir fordhow arvreythyans effeyth rag an dyssynnansow kawsek may fo arvreythyans argerdh junyes, teori a chanj ha model lojyk rag an dyssynnans may whila arvreythyans argerdh ewnder erbyn, ha dasprenans budhekow rag holya delivrans bys y'n devethyow ervirys.
Trapow
- Komysyonya arvreythyans effeyth hepken. Deveth null po gwann ny yll bos dyskonvedhys avel fyllel teori po fyllel gweythresans, hen yw an dyffrans a'n poesek rag dyghtya pyth dhe wul nessa.
- Ewnhe arvreythyans argerdh avel ynkresyans hweg. Y res an keth ewnder ha kriterys ewnder rag-dyffrys avel dyssynnans effeyth, po y koll yn hwedhel pan dheu an devethyow.
- Kemmysga "yn termyn ha war budjet" gans "delivrys herwydh dyssynnans". Arvreythyans argerdh a whel ewnder dhe'n model — dosis, bagas kendon, dewisyow — nyns yw status RAG rewl project.
- Heb rag-dyffrya trothow ewnder. Dyghtya wosa an gwir pyth a gownt avel "dosis lowr" a wra kenyver displegyans a deveth effeyth dyskwedhys a dhisqwedh avel excus wosa-dro.
Fentynyow
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/