Teema 24 64-st· Sotsiaalne väärtus ja mõju mõõtmine

Mõjuhindamine versus protsessihindamine

MõjuHindamine küsib, kas programm põhjustaS selle kavatsetud tulemusi. ProtsessiHindamine küsib, kas programm tegelikult tarnitud disainituD viisiL — kelleLe, millisel doosiL, ja millisteGa barjäärideGa või fasilitatoriDeGa teeL. Need on erinevad küsimused, mis nõuavad erinevaid meetodeid, ja HM Treasury Magenta Book käsitleb mõlema koos tellimist standardPraktikaNa, sest nõrK või null-mõju-tulemus on iseEnesest tõlgendamaTu: see ei saa öelda, kas programmi alusOlev teooria oli vale, või kas hea teooria lihtsalt mitte kunagi korralikuLt tarnitud.

Miks see on oluline

Valitsuse hindamised on korduvalt leidnud mitte mingit mõõdetAvat efekti programmiSt, omaMaTa mingit protsessiHindamist, et selgitada miks — jättes tellijad suuTeTuKs eristama "see idee ei töötA" (teooria-ebaõnnestumine) sellEst "see idee mitte kunagi tegelikult korralikuLt proOvitud" (implementatsiooni-ebaõnnestumine). Medical Research Council'i juhend keeruliste interventsioonide protsessiHindamiseST, avaldatuD BMJ-s 2015 ja laialDaseLt tsiteeritud koos Magenta Book'iGa, formaliseeris fideliteeDi, dooSi, ja ulatuSe kui tuumAsjaD, mida protsessiHindamine peab mõõtma. MõjuHindamise tellimine protsessiHindamiseTa riskeerib genuinely hea programmDisaini loobumist, sest see tarnitud pooleLe kavatsetuD populatsioonile fraktsiooniGa kavatsetuD intensiivsuSest — viga, mida süsteemE-ehitaja on hästi positsioneeritud ennetama, sest tarne-fideliteeT on täpselt see, mida operatiivseD andmeSüsteemid saavad fikseerida ligikaudu-reaalaeGa.

Arvutus

ProtsessiHindamine küsib:
 - Oli see tarnitud sihtPopulatsioonile, planeeritud dooSiL/
   intensiivsuSel?
 - Sobitus tarne logikMudeli / muutuSe-teooria disainiga?
 - Mis barjäärid või fasilitatorid mõjutasid tarnet?
 Meetodid: fideliteeDi-kontrollid vastu eelSpetsifitseeritud
           tärskliteLe, juhtumiUuringud, intervjuud,
           administratiivseD tarne-andmed.

MõjuHindamine küsib:
 - Mis muutuS, ja kui palju sellest muutuSeST on omistataV
   programmiLe?
 Meetodid: RCT, DiD, PSM, RDD — vaata mõjuHindamise-meetodid
           — vastu kontrafaktuaali.

Kombineeritud diagnoos:
 Puudub efekt + kõrge fideliteeT  → teooria-ebaõnnestumine:
                                    mudel ise ei tootnud
                                    tulemust
 Puudub efekt + madal fideliteeT  → implementatsiooni-
                                    ebaõnnestumine: mudelit
                                    mitte kunagi korralikuLt
                                    testitud
 Efekt leitud + kõrge fideliteeT  → replitseeri usaldusEgA
 Efekt leitud + madal fideliteeT  → uuri edasi: efekt võib
                                    olla fragiile või sIte-
                                    spetsiifiline

Läbitöötatud näide

Kohalik omavalitsus (lapseVanemlikKuSe programm): mõjuHindamine, kasutaDES erinevuste-erinevused, leiab +2-protsendipunkti muutuSe lapse-heaolu-mõõdikuS — ei statistiLiselt oluline. ProtsessiHindamine, käivitatuD koos selleGa, leiab, et programm jõudis ainult 210-le 500 sihitud perekonnaST (42% ulatus), ja neist, ainult 95 lõpetasid eelSpetsifitseeritud fideliteeDi-tärskli 75%+ osaletuD sessioonidest — 19% algsest planeeritud ulatuSest. Järeldus: nõrK mõjuTulemus on konsistentne implementatsiooni-ebaõnnestumiSeGa, mitte tõenD, et programm-mudel ei töötA; sobiv vastus on parandada suunamiSteE, mis põhjustaS 58%-liSe languSe, mitte programmDisaini loobumine.

Heategevusorganisatsioon (digiKirjaOskuSe programm): mõjuHindamine leiab tugevA efekti (+18 protsendipunkti digiKindlustuse-skooril), ja parallelne protsessiHindamine kinnitab 92% fideliteeDi planeeritud õppekavaLe üle kõigE 12 tarne-asukoha. Kombineeritult saab rahastaja programmi skaleerida usaldusEgA, sest efekt on näidatud, et see hoiab konsistentSelt, mitte olleS üheST ebaTavaliSelt heaST asukohaST toode.

Seos tarkvaraarendusega

ProtsessiHindamisE andmed on täpselt, mida tarneSüsteemid on hästi positsioneeritud fikseerima: osaleMine vastu plaanile, sessiooni-doSeerimine, ja langus igAl staadiumil suunamiSe- või registreerimiS-tragiS — sama trAgi-analüütika, mida insenerid juba ehitavad tooteOmaDusteLe, rakendatuD sotsiaalse programmi tarne-pipeliNiLe selle asemel. Fideliteedi- ja ulatuSe-mõõdikuDe söötmine programmJuhTiDeLe ligikaudu-reaalaeGa, selle asemel, et ootaDa grAndi-lõpu-hindamist, lubab katkisT suunamiSTeE fikseerida programmiSisEselt selle asemel, et see avastataKse ainult korD, kui rahastamisPerIood on lõppenud. Vaata mõjuHindamise-meetodid põhjusLikE disainideKs, millegA protsessiHindamine on paariS, muutuSe teooria ja logikMudel disainiKs, mille vastu protsessiHindamine kontrollib fideliteeDi, ja kasuteostuS tarne jälgimiSeKs läbi tulemusteNi, mis lubati.

Lõksud

  • MõjuHindamise tellimine üksi. Null või nõrK tulemus ei saa seejärel tõlgendataKs teooria-ebaõnnestumiSeKs või implementatsiooni-ebaõnnestumiSeKs, mis on täpselt distinktsioon, mis loeb, otsustaMaKs, mida järgneValt teha.
  • ProtsessiHindamise käsitlemine pehmeKs lisaKs. Selle vajab sama rangust ja eelSpetsifitseeritud fideliteeDi-kriteeriume kui mõjuDisain, või see kollapseerub anekDoodiKs, kui tulemused saabuvad.
  • "Õigeaegne ja eelArve-siseS" segiAjamine "tarnitud nagu disainitud"-GA. ProtsessiHindamine kontrollib fideliteeDi mudeliLe — dooS, sihtGrupp, sisu — ei projektHaldusE RAG-statust.
  • FideliteeDi-tärsklite mitte eelRegistreerimine. Otsustamine pärast faktI, mis loeb "piisavaKs dooSiKs," muudab mistahes selgituSe pettumust-valmistavaST mõjuTulemuSeSt näivaKs post-hoc vabanDuSteGa.

Allikad