Mada 24 ya 64· Thamani ya kijamii na kipimo cha athari
Tathmini ya Athari dhidi ya Tathmini ya Mchakato
Tathmini ya athari huuliza kama programu ilisababisha matokeo yaliyokusudiwa. Tathmini ya mchakato huuliza kama programu ilitolewa kweli kama ilivyosanifiwa — kwa nani, kwa kipimo gani, na kwa vikwazo au wawezeshaji gani njiani. Haya ni maswali tofauti yanayohitaji mbinu tofauti, na Magenta Book ya HM Treasury huchukulia kuagiza yote mawili pamoja kama mazoea ya kawaida, kwa sababu matokeo dhaifu au sifuri ya athari hayaeleweki peke yake: hayawezi kukuambia kama nadharia ya msingi ya programu ilikuwa mbaya, au kama nadharia nzuri haikutolewa ipasavyo kamwe.
Kwa nini ni muhimu
Tathmini za serikali mara kwa mara zimepata hakuna athari inayopimika kutoka kwa programu huku zikikosa tathmini ya mchakato kueleza kwa nini — zikiwaacha waagizaji wasiweze kutofautisha "wazo hili halifanyi kazi" (kushindwa kwa nadharia) na "wazo hili halikujaribiwa ipasavyo kamwe" (kushindwa kwa utekelezaji). Mwongozo wa Medical Research Council kuhusu tathmini ya mchakato ya afua tata, uliochapishwa katika BMJ mwaka 2015 na kutajwa sana pamoja na Magenta Book, ulirasimisha uaminifu (fidelity), kipimo (dose), na ufikiaji (reach) kama mambo ya msingi ambayo tathmini ya mchakato lazima ipime. Kuagiza tathmini ya athari bila tathmini ya mchakato kunahatarisha kuacha usanifu wa programu ulio mzuri kweli kwa sababu ulitolewa kwa nusu ya idadi ya watu iliyokusudiwa kwa sehemu ndogo ya ukali uliokusudiwa — kosa ambalo mjenzi wa mifumo yuko katika nafasi nzuri ya kulizuia, kwa sababu uaminifu wa utoaji ndio hasa mifumo ya data ya kiutendaji inaweza kunasa karibu na wakati halisi.
Hisabati
Tathmini ya mchakato huuliza:
- Je, ilitolewa kwa idadi lengwa ya watu, kwa kipimo/ukali uliopangwa?
- Je, utoaji ulilingana na usanifu wa mfano wa mantiki / nadharia ya mabadiliko?
- Ni vikwazo au wawezeshaji gani viliathiri utoaji?
Mbinu: ukaguzi wa uaminifu dhidi ya vizingiti vilivyobainishwa awali, tafiti za kesi, mahojiano,
data ya kiutawala ya utoaji.
Tathmini ya athari huuliza:
- Nini kilibadilika, na ni kiasi gani cha badiliko hilo kinahusishwa na programu?
Mbinu: RCT, DiD, PSM, RDD — tazama impact-evaluation-methods — dhidi ya hali mbadala.
Utambuzi wa pamoja:
Hakuna athari + uaminifu wa juu → kushindwa kwa nadharia: modeli yenyewe haikuzalisha matokeo
Hakuna athari + uaminifu wa chini → kushindwa kwa utekelezaji: modeli haikujaribiwa ipasavyo kamwe
Athari imepatikana + uaminifu wa juu → rudia kwa kujiamini
Athari imepatikana + uaminifu wa chini → chunguza zaidi: athari inaweza kuwa dhaifu au ya mahali mahususi
Mfano uliokokotolewa
Mamlaka ya mtaa (programu ya malezi): tathmini ya athari kwa kutumia tofauti-katika-tofauti inapata badiliko la +pointi 2 za asilimia katika kipimo cha ustawi wa mtoto — si la kitakwimu lenye maana. Tathmini ya mchakato, iliyofanywa sambamba, inapata programu ilifikia familia 210 tu kati ya 500 zilizolengwa (ufikiaji wa 42%), na kati ya hizo, 95 tu ndizo zilizokamilisha kizingiti cha uaminifu kilichobainishwa awali cha 75%+ ya vikao vilivyohudhuriwa — 19% ya ufikiaji uliopangwa awali. Hitimisho: matokeo dhaifu ya athari yanalingana na kushindwa kwa utekelezaji, si ushahidi kwamba modeli ya programu haifanyi kazi; jibu linalofaa ni kurekebisha njia ya rufaa iliyosababisha kuacha kwa 58%, si kuacha usanifu wa programu.
Shirika la hisani (programu ya ujuzi wa kidijitali): tathmini ya athari inapata athari kubwa (+pointi 18 za asilimia kwenye alama ya kujiamini kidijitali), na tathmini sambamba ya mchakato inathibitisha uaminifu wa 92% kwa mtaala uliopangwa katika maeneo yote 12 ya utoaji. Kwa pamoja, mfadhili anaweza kupanua programu kwa kujiamini, kwa sababu athari inaonyeshwa kushikilia kwa uthabiti badala ya kuwa zao la eneo moja bora isivyo kawaida.
Uhusiano na uhandisi wa programu
Data ya tathmini ya mchakato ni hasa kile mifumo ya utoaji iko katika nafasi nzuri ya kunasa: mahudhurio dhidi ya mpango, kipimo cha vikao, na kuacha katika kila hatua ya faneli ya rufaa au usajili — uchambuzi ule ule wa faneli ambao wahandisi tayari hujenga kwa vipengele vya bidhaa, ukitumika kwenye mfereji wa utoaji wa programu ya kijamii badala yake. Kuwalisha mameneja wa programu vipimo vya uaminifu na ufikiaji karibu na wakati halisi, badala ya kusubiri tathmini ya mwisho wa ruzuku, kunawezesha njia ya rufaa iliyovunjika kurekebishwa katikati ya programu badala ya kugunduliwa tu kipindi cha ufadhili kikishaisha. Tazama mbinu za tathmini ya athari kwa usanifu wa kisababishi ambao tathmini ya mchakato huoanishwa nao, nadharia ya mabadiliko na mfano wa mantiki kwa usanifu ambao tathmini ya mchakato hukagua uaminifu dhidi yake, na kufikia manufaa kwa kufuatilia utoaji hadi matokeo yaliyoahidiwa.
Mitego
- Kuagiza tathmini ya athari peke yake. Matokeo sifuri au dhaifu hayawezi tena kufasiriwa kama kushindwa kwa nadharia au kushindwa kwa utekelezaji, ambayo ndiyo tofauti inayojalisha kwa kuamua cha kufanya baadaye.
- Kuchukulia tathmini ya mchakato kama nyongeza laini. Inahitaji ukali ule ule na vigezo vya uaminifu vilivyobainishwa awali kama usanifu wa athari, vinginevyo huporomoka kuwa hadithi pale matokeo yanapofika.
- Kuchanganya "kwa wakati na ndani ya bajeti" na "kutolewa kama ilivyosanifiwa". Tathmini ya mchakato hukagua uaminifu kwa modeli — kipimo, kundi lengwa, maudhui — si hali ya RAG ya usimamizi wa mradi.
- Kutosajili vizingiti vya uaminifu mapema. Kuamua baada ya tukio nini kinahesabiwa "kipimo cha kutosha" hufanya maelezo yoyote ya matokeo ya athari yanayokatisha tamaa yaonekane kama kutoa visingizio baada ya tukio.
Vyanzo
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/