หัวข้อที่ 8 จาก 64· รากฐานของคุณค่าสาธารณะ
การวิเคราะห์สภาพตรงข้ามกับข้อเท็จจริง
สภาพตรงข้ามกับข้อเท็จจริง (counterfactual) คือการประมาณว่าอะไรจะเกิดขึ้นหากไม่มีการแทรกแซง หากไม่มีสิ่งนี้ การเปลี่ยนแปลงที่สังเกตได้หลังโครงการเริ่มไม่อาจแยกออกจากการเปลี่ยนแปลงที่จะเกิดขึ้นอยู่แล้ว — ไม่มีสภาพตรงข้ามกับข้อเท็จจริง ก็ไม่มีหลักฐานของผล ไม่ว่าตัวเลขก่อนและหลังจะดูน่าเชื่อเพียงใด Magenta Book ของ HM Treasury ถือว่าการสร้างสภาพตรงข้ามกับข้อเท็จจริงที่น่าเชื่อถือเป็นภารกิจเชิงระเบียบวิธีหลักของการประเมินผลกระทบ สำคัญกว่าการเลือกออกแบบใด ๆ เพียงข้อเดียว
เหตุใดจึงสำคัญ
"อาชญากรรมลดลง 15% ในปีหลังจากที่เราเริ่มโครงการ" ไม่ใช่หลักฐานว่าโครงการได้ผล เว้นแต่คุณรู้ว่าอาชญากรรมจะเป็นอย่างไรหากไม่มีโครงการ — อาชญากรรมอาจลดลง 20% อยู่แล้วเพราะแนวโน้มทางเศรษฐกิจหรือประชากรที่ไม่เกี่ยวข้อง ซึ่งหมายความว่าโครงการทำให้แย่ลงเมื่อเทียบกับสภาพตรงข้ามกับข้อเท็จจริง ทั้งที่ตัวเลขดิบดีขึ้น นี่คือข้อผิดพลาดเชิงวิเคราะห์ที่พบบ่อยที่สุดในข้อกล่าวอ้างด้านผลกระทบของภาครัฐและภาคสังคม: การเข้าใจผิดว่าการเปรียบเทียบก่อน/หลังเป็นหลักฐานของความเป็นเหตุเป็นผล Magenta Book ชัดเจนว่าการประเมินผลกระทบมีไว้เพื่อตอบคำถามสภาพตรงข้ามกับข้อเท็จจริง — "การแทรกแซงนี้สร้างความแตกต่างอะไร?" — และการตอบต้องอาศัยการประมาณ ไม่ใช่เพียงการบรรยาย โลกที่ไม่ได้เกิดขึ้น
วิธีการต่าง ๆ สร้างสภาพตรงข้ามกับข้อเท็จจริงด้วยระดับความเชื่อมั่นที่ต่างกัน และแนวทางการประเมินของรัฐบาลจัดอันดับตามนั้น การทดลองแบบสุ่มและมีกลุ่มควบคุม (RCT) ซึ่งบุคคลหรือพื้นที่ถูกสุ่มให้ได้รับการแทรกแซงหรือไม่ ให้สภาพตรงข้ามกับข้อเท็จจริงที่แข็งแกร่งที่สุด เพราะการสุ่มทำให้แน่ใจว่ากลุ่มทดลองและกลุ่มควบคุมต่างกัน โดยเฉลี่ย เพียงการได้รับการแทรกแซง Cabinet Office และ What Works Network ส่งเสริม RCT ทั่วนโยบายสาธารณะของสหราชอาณาจักรตั้งแต่รายงาน "Test, Learn, Adapt" ปี 2012 ของ Behavioural Insights Team ก็เพราะการออกแบบที่อ่อนกว่าเสี่ยงต่อตัวแปรกวน — ความแตกต่างที่สังเกตอาจสะท้อนว่าใครเลือกเข้าร่วม ไม่ใช่ผลของโครงการ ในกรณีที่การสุ่มไม่ปฏิบัติได้หรือผิดจริยธรรม (ซึ่งมักเป็นเช่นนั้นกับโครงการที่มีสิทธิตามกฎหมาย หรือการเปลี่ยนนโยบายทั้งประชากร) Magenta Book วางลำดับชั้นที่ชัดเจนของทางเลือกที่อ่อนกว่าแต่ยังมีประโยชน์: กลุ่มเปรียบเทียบที่จับคู่ การออกแบบผลต่างของผลต่าง (difference-in-differences) การถดถอยแบบไม่ต่อเนื่อง (regression discontinuity) รอบเกณฑ์คุณสมบัติ และเป็นทางเลือกสุดท้าย การเปรียบเทียบก่อน/หลังอย่างง่าย — ติดป้ายชัดเจนว่าเป็นหลักฐานรูปแบบที่อ่อนที่สุด มีแนวโน้มสับสนระหว่างผลของโครงการกับผลของทุกสิ่งที่เปลี่ยนไปในเวลาเดียวกัน
คณิตศาสตร์
กรอบสภาพตรงข้ามกับข้อเท็จจริง ใช้ได้กับทุกวิธี:
ผลกระทบที่ประมาณ = ผลลัพธ์(มีการแทรกแซง) − ผลลัพธ์(สภาพตรงข้ามกับข้อเท็จจริง: ไม่มีการแทรกแซง)
ไม่ใช่:
ผลกระทบที่ประมาณ ≠ ผลลัพธ์(หลัง) − ผลลัพธ์(ก่อน) [ปนเวลากับการรักษา]
ผลต่างของผลต่าง ซึ่งเป็นหนึ่งในการออกแบบกึ่งทดลองที่พบบ่อยที่สุดในการประเมินของรัฐบาล แยกผลการรักษาโดยลบการเปลี่ยนแปลงก่อน/หลังของกลุ่มเปรียบเทียบเอง:
ค่าประมาณ DiD = [ผลลัพธ์(กลุ่มที่ได้รับ, หลัง) − ผลลัพธ์(กลุ่มที่ได้รับ, ก่อน)]
− [ผลลัพธ์(กลุ่มเปรียบเทียบ, หลัง) − ผลลัพธ์(กลุ่มเปรียบเทียบ, ก่อน)]
วิธีนี้ขจัดแนวโน้มที่ร่วมกันของทั้งสองกลุ่ม (เช่น การเปลี่ยนแปลงทางเศรษฐกิจระดับชาติที่กระทบทุกคน) เหลือเฉพาะการเปลี่ยนแปลงส่วนต่างที่เป็นผลของการแทรกแซง
ตัวอย่างการคำนวณ
โครงการจ้างงาน ก่อน/หลัง (การออกแบบอ่อน): โครงการสนับสนุนการหางานรายงานว่าการมีงานทำของผู้เข้าร่วมเพิ่มจาก 40% เป็น 55% ในหนึ่งปี — ข้อสรุปไร้เดียงสาว่า "+15 จุดเปอร์เซ็นต์เพราะโครงการ"
โครงการเดียวกัน ผลต่างของผลต่าง (การออกแบบแข็งแกร่งกว่า): กลุ่มเปรียบเทียบที่จับคู่ของผู้ไม่เข้าร่วมที่คล้ายกัน ดึงจากตลาดแรงงานท้องถิ่นเดียวกัน แสดงการมีงานทำเพิ่มจาก 38% เป็น 47% ในปีเดียวกัน (เศรษฐกิจระดับชาติกำลังฟื้นตัว)
การเปลี่ยนแปลงของกลุ่มที่ได้รับ: 55% − 40% = +15 จุดเปอร์เซ็นต์
การเปลี่ยนแปลงของกลุ่มเปรียบเทียบ: 47% − 38% = +9 จุดเปอร์เซ็นต์
ค่าประมาณ DiD (ผลที่แท้จริงของโครงการ) = 15 − 9 = +6 จุดเปอร์เซ็นต์
ผลที่ระบุว่าเป็นของโครงการได้อย่างซื่อตรงคือ 6 จุดเปอร์เซ็นต์ ไม่ใช่ 15 — มากกว่าครึ่งของการปรับปรุงก่อน/หลังที่เห็นจะเกิดขึ้นอยู่แล้วไม่ว่าจะมีโครงการหรือไม่ เนื่องจากการฟื้นตัวทางเศรษฐกิจเดียวกันที่ยกกลุ่มเปรียบเทียบขึ้น
การถดถอยแบบไม่ต่อเนื่อง เกณฑ์คุณสมบัติ: โครงการเงินอุดหนุนเปิดให้เฉพาะธุรกิจที่มีพนักงานน้อยกว่า 50 คน การเปรียบเทียบผลลัพธ์ของธุรกิจที่อยู่ใต้เกณฑ์เล็กน้อย (พนักงาน 45–49 คน มีสิทธิ์) กับธุรกิจที่อยู่เหนือเกณฑ์เล็กน้อย (พนักงาน 50–54 คน ไม่มีสิทธิ์) ให้สภาพตรงข้ามกับข้อเท็จจริงที่น่าเชื่อถือ เพราะธุรกิจทั้งสองฝั่งของเส้นแบ่งทางบริหารตามอำเภอใจนั้นคล้ายกันในด้านอื่น — เกณฑ์ ไม่ใช่ลักษณะพื้นฐานใดของธุรกิจ เป็นตัวกำหนดสิทธิ์ ความแตกต่างของผลลัพธ์เฉลี่ย 2,000 ปอนด์ระหว่างสองกลุ่ม ซึ่งสังเกตได้เฉพาะที่เกณฑ์ ระบุว่าเป็นผลของเงินอุดหนุนได้อย่างมั่นใจมากกว่าการเปรียบเทียบอย่างง่ายระหว่างธุรกิจที่มีสิทธิ์ทั้งหมดกับธุรกิจที่ไม่มีสิทธิ์ทั้งหมด (ซึ่งต่างกันอย่างเป็นระบบในด้านขนาด)
ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์
การคิดแบบสภาพตรงข้ามกับข้อเท็จจริงควรกำหนดรูปแบบการออกแบบระบบติดตามผลกระทบและไปป์ไลน์การประเมินสำหรับซอฟต์แวร์ภาครัฐและภาคสังคม:
- สร้างการเก็บกลุ่มเปรียบเทียบไว้ในระบบตั้งแต่ต้น — บันทึกว่าใครมีสิทธิ์แต่ไม่ได้ลงทะเบียน หรือกลุ่มผู้ไม่เข้าร่วมที่จับคู่ — แทนที่จะเพิ่มภายหลังเมื่อโครงการดำเนินไปแล้วและมีเพียงข้อมูลก่อน/หลัง
- เมื่อการสุ่มเป็นไปได้ (การเปิดตัวเป็นระยะ บริการดิจิทัลที่เปิดให้ผู้ใช้บางรายก่อน) ติดตั้งเครื่องมือวัดในระบบเพื่อเก็บการสุ่มเป็นฟิลด์ที่สืบค้นได้ การเปิดตัวเป็นระยะทำลายคุณค่าการประเมินของตัวเองโดยไม่ตั้งใจหากไม่บันทึกลำดับการกำหนด
- นี่คือวิธีการพื้นฐานเบื้องหลัง วิธีการประเมินผลกระทบ และเป็นสิ่งที่แยกมันออกจาก การประเมินผลกระทบกับการประเมินกระบวนการ ซึ่งอย่างหลังถามว่าโครงการถูกส่งมอบตามที่ตั้งใจหรือไม่ แทนที่จะถามว่าก่อให้เกิดผลหรือไม่
- ผลเพิ่มเติมและส่วนสูญเปล่า และ การเคลื่อนย้ายผลและการระบุที่มา ทั้งสองเป็นคำถามสภาพตรงข้ามกับข้อเท็จจริงในรากฐาน — ส่วนสูญเปล่าคือ "ผลลัพธ์เฉพาะนี้จะเป็นอย่างไรหากไม่มีการแทรกแซง" ใช้ในระดับการปรับแก้แทนการออกแบบการประเมินเต็มรูปแบบ
ข้อผิดพลาดที่พบบ่อย
- ถือว่าก่อน/หลังเป็นหลักฐานของความเป็นเหตุเป็นผล นี่คือข้อผิดพลาดที่พบบ่อยและส่งผลมากที่สุดในการรายงานผลกระทบของภาครัฐและภาคสังคม; การเปลี่ยนแปลงก่อน/หลังปนผลของโครงการกับทุกสิ่งอื่นที่เปลี่ยนไปในช่วงเวลาเดียวกัน
- ใช้กลุ่มเปรียบเทียบที่ต่างจากกลุ่มที่ได้รับอย่างเป็นระบบ กลุ่มเปรียบเทียบที่จับคู่ต้องคล้ายกันจริงในลักษณะที่เกี่ยวข้อง (ดูลำดับชั้นวิธีการใน การวิเคราะห์สภาพตรงข้ามกับข้อเท็จจริง ใน Magenta Book); การเปรียบเทียบผู้เข้าร่วมโครงการ (ซึ่งเลือกเข้าร่วมและมักมีแรงจูงใจมากกว่า) กับผู้ไม่เข้าร่วม เสี่ยงต่ออคติจากการคัดเลือกที่แฝงตัวเป็นผลของโครงการ
- ทำลายโอกาสในการสุ่มด้วยการออกแบบการส่งมอบที่แย่ การเปิดตัวเป็นระยะหรือแบบสุ่มรักษาคุณค่าการประเมินไว้ได้ก็ต่อเมื่อการกำหนดสุ่มจริงและมีบันทึก — การปล่อยให้ผู้จัดการท้องถิ่นเลือกว่าใครได้ก่อนทำลายวัตถุประสงค์
- อ้างความแม่นยำเกินจริงจากการออกแบบที่อ่อน ค่าประมาณก่อน/หลังควรนำเสนอเป็นตัวบ่งชี้ ไม่ใช่ขนาดผลที่วัดได้; ลำดับชั้นหลักฐานของ Magenta Book มีไว้เพื่อให้ความแข็งแกร่งของข้อกล่าวอ้างตรงกับความแข็งแกร่งของการออกแบบที่ผลิตมันขึ้นมา
แหล่งอ้างอิง
- HM Treasury, "The Magenta Book: Central Government Guidance on Evaluation" (2020), and its supplementary guide on quasi-experimental methods. https://www.gov.uk/government/publications/the-magenta-book
- Cabinet Office / Behavioural Insights Team, "Test, Learn, Adapt: Developing Public Policy with Randomized Controlled Trials" (2012).
- What Works Network, standards of evidence guidance. https://www.gov.uk/guidance/what-works-network
- Angrist JD, Pischke J-S. Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press, 2009 (standard reference for difference-in-differences and regression discontinuity methods).