หัวข้อที่ 24 จาก 64· คุณค่าทางสังคมและการวัดผลกระทบ
การประเมินผลกระทบกับการประเมินกระบวนการ
การประเมินผลกระทบถามว่าโครงการก่อให้เกิดผลลัพธ์ที่ตั้งใจหรือไม่ การประเมินกระบวนการถามว่าโครงการถูกส่งมอบตามที่ออกแบบจริงหรือไม่ — ให้ใคร ในปริมาณเท่าใด และมีอุปสรรคหรือปัจจัยเอื้อใดระหว่างทาง นี่เป็นคำถามต่างกันที่ต้องใช้วิธีการต่างกัน และ Magenta Book ของ HM Treasury ถือว่าการว่าจ้างทั้งสองอย่างพร้อมกันเป็นแนวปฏิบัติมาตรฐาน เพราะผลกระทบที่อ่อนหรือไม่มีเลยตีความเองไม่ได้: บอกไม่ได้ว่าทฤษฎีเบื้องหลังของโครงการผิด หรือทฤษฎีที่ดีเพียงแต่ไม่เคยถูกส่งมอบอย่างเหมาะสม
เหตุใดจึงสำคัญ
การประเมินของรัฐบาลพบซ้ำแล้วซ้ำเล่าว่าโครงการไม่มีผลที่วัดได้ โดยไม่มีการประเมินกระบวนการอธิบายสาเหตุ — ทิ้งให้ผู้ว่าจ้างแยกไม่ออกระหว่าง "ความคิดนี้ไม่ได้ผล" (ความล้มเหลวของทฤษฎี) กับ "ความคิดนี้ไม่เคยถูกลองอย่างเหมาะสมจริง ๆ" (ความล้มเหลวของการนำไปปฏิบัติ) แนวทางของ Medical Research Council เรื่องการประเมินกระบวนการของการแทรกแซงที่ซับซ้อน เผยแพร่ใน BMJ ปี 2015 และถูกอ้างถึงอย่างกว้างขวางควบคู่กับ Magenta Book กำหนดความซื่อตรงต่อแบบแผน (fidelity) ปริมาณ (dose) และการเข้าถึง (reach) เป็นสิ่งหลักที่การประเมินกระบวนการต้องวัด การว่าจ้างการประเมินผลกระทบโดยไม่มีการประเมินกระบวนการเสี่ยงต่อการละทิ้งการออกแบบโครงการที่สมเหตุสมผลจริงเพียงเพราะถูกส่งมอบให้ประชากรเป้าหมายครึ่งเดียวด้วยความเข้มข้นเพียงเศษเสี้ยวของที่ตั้งใจ — ความผิดพลาดที่ผู้สร้างระบบอยู่ในตำแหน่งที่ดีที่จะป้องกัน เพราะความซื่อตรงในการส่งมอบคือสิ่งที่ระบบข้อมูลปฏิบัติการจับได้เกือบเรียลไทม์
คณิตศาสตร์
การประเมินกระบวนการถาม:
- ส่งมอบให้ประชากรเป้าหมายในปริมาณ/ความเข้มข้นที่วางแผนไว้หรือไม่?
- การส่งมอบตรงกับการออกแบบแบบจำลองตรรกะ / ทฤษฎีการเปลี่ยนแปลงหรือไม่?
- อุปสรรคหรือปัจจัยเอื้อใดมีผลต่อการส่งมอบ?
วิธีการ: ตรวจสอบความซื่อตรงเทียบเกณฑ์ที่กำหนดล่วงหน้า กรณีศึกษา สัมภาษณ์
ข้อมูลการส่งมอบทางการบริหาร
การประเมินผลกระทบถาม:
- อะไรเปลี่ยนไป และการเปลี่ยนแปลงนั้นเป็นผลของโครงการเท่าใด?
วิธีการ: RCT, DiD, PSM, RDD — ดู impact-evaluation-methods — เทียบกับสภาพตรงข้ามกับข้อเท็จจริง
การวินิจฉัยรวม:
ไม่มีผล + ความซื่อตรงสูง → ทฤษฎีล้มเหลว: ตัวแบบเองไม่ได้สร้างผลลัพธ์
ไม่มีผล + ความซื่อตรงต่ำ → การนำไปปฏิบัติล้มเหลว: ตัวแบบไม่เคยถูกทดสอบอย่างเหมาะสม
พบผล + ความซื่อตรงสูง → ทำซ้ำได้อย่างมั่นใจ
พบผล + ความซื่อตรงต่ำ → สอบสวนเพิ่ม: ผลอาจเปราะบางหรือเฉพาะพื้นที่
ตัวอย่างการคำนวณ
หน่วยงานท้องถิ่น (โครงการอบรมผู้ปกครอง): การประเมินผลกระทบด้วยผลต่างของผลต่างพบการเปลี่ยนแปลง +2 จุดเปอร์เซ็นต์ในมาตรวัดความอยู่ดีมีสุขของเด็ก — ไม่มีนัยสำคัญทางสถิติ การประเมินกระบวนการที่ทำควบคู่กันพบว่าโครงการเข้าถึงเพียง 210 จาก 500 ครอบครัวเป้าหมาย (เข้าถึง 42%) และในจำนวนนั้นมีเพียง 95 ที่ผ่านเกณฑ์ความซื่อตรงที่กำหนดล่วงหน้า คือเข้าร่วมเซสชัน 75%+ — 19% ของการเข้าถึงที่วางแผนไว้เดิม สรุป: ผลกระทบที่อ่อนสอดคล้องกับความล้มเหลวของการนำไปปฏิบัติ ไม่ใช่หลักฐานว่าตัวแบบโครงการใช้ไม่ได้ การตอบสนองที่เหมาะสมคือแก้เส้นทางการส่งต่อที่ทำให้หลุดไป 58% ไม่ใช่ละทิ้งการออกแบบโครงการ
องค์กรการกุศล (โครงการความรู้ดิจิทัล): การประเมินผลกระทบพบผลที่แข็งแกร่ง (+18 จุดเปอร์เซ็นต์ในคะแนนความมั่นใจดิจิทัล) และการประเมินกระบวนการคู่ขนานยืนยันความซื่อตรง 92% ต่อหลักสูตรที่วางแผนไว้ในทั้ง 12 สถานที่ส่งมอบ เมื่อรวมกัน ผู้ให้ทุนสามารถขยายโครงการได้อย่างมั่นใจ เพราะผลถูกแสดงว่ายืนยันอย่างสม่ำเสมอ แทนที่จะเป็นผลผลิตของสถานที่ที่ดีผิดปกติเพียงแห่งเดียว
ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์
ข้อมูลการประเมินกระบวนการคือสิ่งที่ระบบส่งมอบอยู่ในตำแหน่งที่ดีที่จะเก็บ: การเข้าร่วมเทียบแผน ปริมาณเซสชัน และการหลุดที่แต่ละขั้นของฟันเนลการส่งต่อหรือการลงทะเบียน — การวิเคราะห์ฟันเนลเดียวกับที่วิศวกรสร้างให้ฟีเจอร์ผลิตภัณฑ์อยู่แล้ว ใช้กับไปป์ไลน์การส่งมอบของโครงการสังคมแทน การป้อนตัวชี้วัดความซื่อตรงและการเข้าถึงให้ผู้จัดการโครงการเกือบเรียลไทม์ แทนที่จะรอการประเมินเมื่อสิ้นสุดเงินอุดหนุน ช่วยให้เส้นทางการส่งต่อที่เสียได้รับการแก้ไขระหว่างโครงการ แทนที่จะค้นพบเมื่อช่วงเงินทุนจบไปแล้ว ดู วิธีการประเมินผลกระทบ สำหรับการออกแบบเชิงสาเหตุที่การประเมินกระบวนการจับคู่ด้วย ทฤษฎีการเปลี่ยนแปลง และ แบบจำลองตรรกะ สำหรับแบบที่การประเมินกระบวนการตรวจความซื่อตรงเทียบ และ การบรรลุผลประโยชน์ สำหรับติดตามการส่งมอบจนถึงผลลัพธ์ที่สัญญาไว้
ข้อผิดพลาดที่พบบ่อย
- ว่าจ้างการประเมินผลกระทบอย่างเดียว ผลที่เป็นศูนย์หรืออ่อนจึงตีความเป็นทฤษฎีล้มเหลวหรือการนำไปปฏิบัติล้มเหลวไม่ได้ ซึ่งเป็นความแตกต่างที่สำคัญต่อการตัดสินใจว่าจะทำอะไรต่อ
- ถือการประเมินกระบวนการเป็นส่วนเสริมที่อ่อน ต้องมีความเข้มงวดและเกณฑ์ความซื่อตรงที่กำหนดล่วงหน้าเท่ากับการออกแบบผลกระทบ มิฉะนั้นจะยุบเป็นเรื่องเล่าเมื่อผลออกมา
- สับสน "ตรงเวลาและไม่เกินงบประมาณ" กับ "ส่งมอบตามที่ออกแบบ" การประเมินกระบวนการตรวจความซื่อตรงต่อตัวแบบ — ปริมาณ กลุ่มเป้าหมาย เนื้อหา — ไม่ใช่สถานะ RAG ของการบริหารโครงการ
- ไม่ลงทะเบียนเกณฑ์ความซื่อตรงล่วงหน้า การตัดสินใจภายหลังว่าอะไรนับเป็น "ปริมาณเพียงพอ" ทำให้คำอธิบายใด ๆ ของผลกระทบที่น่าผิดหวังดูเหมือนข้ออ้างหลังเหตุการณ์
แหล่งอ้างอิง
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- Moore G, et al., "Process evaluation of complex interventions: Medical Research Council guidance." BMJ 2015;350:h1258. https://www.bmj.com/content/350/bmj.h1258
- National Audit Office, programme evaluation reports. https://www.nao.org.uk/