หัวข้อที่ 23 จาก 64· คุณค่าทางสังคมและการวัดผลกระทบ
วิธีการประเมินผลกระทบ
วิธีการประเมินผลกระทบคือการออกแบบเชิงสถิติและเชิงทดลองที่ใช้ประมาณว่านโยบายหรือโครงการก่อให้เกิดอะไรจริง ๆ ต่างจากสิ่งที่จะเกิดขึ้นอยู่แล้ว — การทดลองแบบสุ่มและมีกลุ่มควบคุม (RCT) ผลต่างของผลต่าง การจับคู่คะแนนความโน้มเอียง (propensity score matching) และการออกแบบการถดถอยแบบไม่ต่อเนื่อง (regression discontinuity) เป็นสี่วิธีที่ใช้บ่อยที่สุดในนโยบายสาธารณะของสหราชอาณาจักร มีอยู่เพราะการแทรกแซงของรัฐส่วนใหญ่ทดสอบในห้องปฏิบัติการไม่ได้: คุณสุ่มไม่ได้ว่าเมืองไหนจะได้เส้นทางรถประจำทางใหม่แบบเดียวกับที่สุ่มว่าผู้ป่วยรายไหนจะได้ยา ดังนั้นวิธีเหล่านี้ยืมตรรกะเชิงสาเหตุเดียวกันโดยไม่จำเป็นต้องมีการสุ่มกำหนดเสมอไป
เหตุใดจึงสำคัญ
Magenta Book ของ HM Treasury ภาคผนวก A ว่าด้วยวิธีกึ่งทดลอง เป็นแนวทางมาตรฐานของรัฐบาลสหราชอาณาจักรในการเลือกระหว่างการออกแบบเหล่านี้ และหน่วยงานอย่าง Education Endowment Foundation และ What Works Centre for Local Economic Growth ทำให้ลำดับชั้นหลักฐานที่สร้างรอบวิธีเหล่านี้เป็นสถาบัน — RCT เมื่อการสุ่มทำได้และถูกจริยธรรม การออกแบบกึ่งทดลองเมื่อไม่ได้ การเลือกวิธีไม่ใช่เรื่องทางเทคนิคที่คิดทีหลัง: เป็นตัวกำหนดว่าการประเมินจะตอบ "โครงการเป็นสาเหตุของสิ่งนี้หรือไม่?" ได้ หรือตอบได้เพียง "สิ่งนี้เกิดขึ้นหลังโครงการเริ่มหรือไม่?" ซึ่งเป็นคำถามเดียวกับที่ การวิเคราะห์สภาพตรงข้ามกับข้อเท็จจริง ถูกสร้างขึ้นเพื่อบังคับให้ผู้ปฏิบัติถามก่อนจะว่าจ้างการประเมินใด ๆ
คณิตศาสตร์
RCT:
ผลกระทบ = ค่าเฉลี่ย(ผลลัพธ์ | กลุ่มทดลอง) − ค่าเฉลี่ย(ผลลัพธ์ | กลุ่มควบคุม)
(ใช้ได้เพราะการกำหนดเข้ากลุ่มทดลองเป็นการสุ่ม)
ผลต่างของผลต่าง (DiD):
ผลกระทบ = [ผลลัพธ์_หลัง(กลุ่มที่ได้รับ) − ผลลัพธ์_ก่อน(กลุ่มที่ได้รับ)]
− [ผลลัพธ์_หลัง(กลุ่มควบคุม) − ผลลัพธ์_ก่อน(กลุ่มควบคุม)]
(ต้องมีสมมติฐาน "แนวโน้มขนาน": กลุ่มที่ได้รับและกลุ่มควบคุมจะเคลื่อนไหวไปด้วยกัน
หากไม่มีการแทรกแซง)
การจับคู่คะแนนความโน้มเอียง (PSM):
1. ประมาณ P(การรักษา = 1 | ตัวแปรร่วม X) สำหรับทุกหน่วย → คะแนนความโน้มเอียง
2. จับคู่หน่วยที่ได้รับกับหน่วยที่ไม่ได้รับซึ่งมีคะแนนความโน้มเอียงใกล้เคียงกัน
3. ผลกระทบ = ค่าเฉลี่ย(ผลลัพธ์ | กลุ่มที่ได้รับ) − ค่าเฉลี่ย(ผลลัพธ์ | กลุ่มควบคุมที่จับคู่)
การออกแบบการถดถอยแบบไม่ต่อเนื่อง (RDD):
ผลกระทบ = การกระโดดของผลลัพธ์ที่สังเกตได้ที่เกณฑ์คุณสมบัติ
โดยเปรียบเทียบหน่วยที่อยู่เหนือเกณฑ์เล็กน้อยกับใต้เกณฑ์เล็กน้อย
ตัวอย่างการคำนวณ
หน่วยงานท้องถิ่น (ผลต่างของผลต่างสำหรับโครงการครอบครัวมีปัญหา): ผลลัพธ์คือการมาเรียน พื้นที่ที่ได้รับโครงการเปลี่ยนจากการมาเรียน 84% เป็น 89% (+5 จุดเปอร์เซ็นต์) ในช่วงโครงการ พื้นที่เทียบเคียงที่ไม่ได้รับโครงการเปลี่ยนจาก 85% เป็น 87% (+2 จุดเปอร์เซ็นต์) ในช่วงเวลาเดียวกัน ค่าประมาณผลกระทบ DiD: 5 − 2 = +3 จุดเปอร์เซ็นต์ที่ระบุว่าเป็นผลของโครงการ เมื่อใช้กับกลุ่มนักเรียน 2,000 คนในพื้นที่ที่ได้รับโครงการ สอดคล้องกับนักเรียนเพิ่มเติมราว 60 คน (3% × 2,000) ที่ไปถึงระดับการมาเรียนที่สูงกว่า การประมาณค่าขยายซึ่งควรรายงานพร้อมข้อควรระวังเรื่องแนวโน้มขนาน ไม่ใช่เป็นจำนวนหัวที่แม่นยำ
องค์กรการกุศล (การจับคู่คะแนนความโน้มเอียงสำหรับองค์กรการกุศลด้านความพร้อมในการทำงาน): ผู้เข้าร่วมโครงการ 300 คนถูกจับคู่กับบุคคล 300 คนจากชุดข้อมูลบริหารที่ใหญ่กว่าโดยใช้คะแนนความโน้มเอียงที่สร้างจากอายุ ประวัติการจ้างงานก่อนหน้า และระดับคุณวุฒิ อัตราการมีงานทำที่ 12 เดือน: กลุ่มที่ได้รับที่จับคู่ 46% กลุ่มเปรียบเทียบที่จับคู่ 33% ค่าประมาณผลกระทบ PSM: 46% − 33% = +13 จุดเปอร์เซ็นต์ที่ระบุว่าเป็นผลของโครงการ โดยมีเงื่อนไขว่าไม่มีตัวแปรกวนที่ไม่ได้สังเกต (เช่น แรงจูงใจ) ขับเคลื่อนทั้งการเข้าร่วมและผลลัพธ์
ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์
ว่าการออกแบบใดข้างต้นทำได้ภายหลังหรือไม่ ขึ้นอยู่กับการตัดสินใจด้านวิศวกรรมข้อมูลที่ทำตั้งแต่ต้นอย่างมาก RDD ต้องการตัวแปรขับเคลื่อนที่บันทึกถูกต้องและเกณฑ์คุณสมบัติที่สะอาดจริง; DiD ต้องการข้อมูลพาเนลที่เทียบเคียงกันได้ตามเวลาสำหรับทั้งพื้นที่ที่ได้รับและพื้นที่เปรียบเทียบ ซึ่งหมายถึงการเชื่อมข้อมูลที่สม่ำเสมอข้ามระบบและปี; PSM ต้องการข้อมูลตัวแปรร่วมพื้นฐานที่สมบูรณ์ซึ่งเก็บก่อนการรักษา ไม่ใช่สร้างขึ้นใหม่ภายหลัง โมเดลข้อมูลที่ออกแบบควบคู่ไปกับ ทฤษฎีการเปลี่ยนแปลง และ แบบจำลองตรรกะ ตั้งแต่ต้น — เก็บตัวแปรร่วมพื้นฐาน วันที่ และระเบียนที่มีสิทธิ์เป็นกลุ่มเปรียบเทียบ — คือสิ่งที่ทำให้การประเมินผลกระทบที่เข้มงวดเป็นไปได้ภายหลัง แทนที่จะเป็นการเร่งแก้ไขหลังเหตุที่แพง ดู การประเมินผลกระทบกับการประเมินกระบวนการ สำหรับคำถามเสริมที่วิธีเหล่านี้ตอบเองไม่ได้
ข้อผิดพลาดที่พบบ่อย
- บังคับใช้ RCT ในที่ที่ทำไม่ได้หรือผิดจริยธรรม หรือในทางกลับกัน ไม่เคยพิจารณาการออกแบบกึ่งทดลองเมื่อมีโอกาสจริงสำหรับมัน — เกณฑ์นโยบาย การเปิดตัวเป็นระยะ — ซึ่งไม่ได้ใช้
- เพิกเฉยต่อสมมติฐานแนวโน้มขนานใน DiD หากพื้นที่เปรียบเทียบเริ่มแยกจากพื้นที่ที่ได้รับก่อนการแทรกแซงแล้ว การเปรียบเทียบสองจุดปนเปื้อน ตรวจสอบแนวโน้มก่อนหน้า ไม่ใช่แค่ก่อน/หลัง
- จับคู่เฉพาะตัวแปรร่วมที่สังเกตได้ใน PSM การคัดเลือกที่ไม่ได้สังเกต เช่น แรงจูงใจของผู้เข้าร่วม สามารถทำให้ค่าประมาณเอนเอียงได้แม้ตัวแปรร่วมที่สังเกตได้จะสมดุลดี
- การจัดการตัวแปรขับเคลื่อนใน RDD หากผู้คนมีอิทธิพลต่อคะแนนของตนเพื่อให้ตกเข้าในเกณฑ์คุณสมบัติได้ ความไม่ต่อเนื่องก็ไม่แยกผลเชิงสาเหตุอีกต่อไป
แหล่งอ้างอิง
- HM Treasury, Magenta Book (2020), Annex A: Quasi-Experimental Methods. https://www.gov.uk/government/publications/the-magenta-book
- What Works Centre for Local Economic Growth, evidence review methodology. https://whatworksgrowth.org/
- Education Endowment Foundation, evaluation guidance. https://educationendowmentfoundation.org.uk/