หัวข้อที่ 20 จาก 64· คุณค่าทางสังคมและการวัดผลกระทบ

ผลลัพธ์กับผลผลิต

ผลผลิต (output) คือผลิตภัณฑ์โดยตรงที่นับได้ของกิจกรรม — เกิดขึ้นทันทีที่การส่งมอบเกิดขึ้น ไม่ว่าจะมีผลอะไรหรือไม่ ผลลัพธ์ (outcome) คือการเปลี่ยนแปลงที่ตามมาสำหรับผู้คน สถานที่ หรือระบบที่เกี่ยวข้อง "500 คนเข้าร่วมเวิร์กช็อปหางาน" เป็นผลผลิต: เป็นจริงแม้ไม่มีใครเลยหางานได้ "แนวโน้มการจ้างงานของ 500 คนดีขึ้น" เป็นข้อกล่าวอ้างเรื่องผลลัพธ์ และต้องการหลักฐานของการเปลี่ยนแปลง ไม่ใช่เพียงหลักฐานของการเข้าร่วม — ความสับสนที่สร้างรายงานเงินอุดหนุนที่ชวนเข้าใจผิดมากกว่าเกือบทุกข้อผิดพลาดในการวัดอื่นในภาคส่วนนี้

เหตุใดจึงสำคัญ

Magenta Book ของ HM Treasury และผู้ให้ทุนอย่าง National Lottery Community Fund ต่างกำหนดให้รายงานผลลัพธ์ก็เพราะผลผลิตคือสิ่งที่โครงการรายงานเป็นค่าเริ่มต้น: นับได้ถูก มีให้เสมอ และดูเป็นบวกเสมอ ตัวเลขผลผลิตแทบจะไม่เคยลดลงเพราะโครงการล้มเหลว — เซสชันที่ส่งมอบมากขึ้นคือ "มากขึ้น" เสมอ ขณะที่ผลลัพธ์เปิดเผยได้ว่าโครงการไม่ได้ผล National Audit Office วิจารณ์โครงการของรัฐซ้ำแล้วซ้ำเล่าว่ารายงานระดับกิจกรรมราวกับเป็นหลักฐานของความสำเร็จ ระบบซอฟต์แวร์ที่ทำให้รายงานเฉพาะผลผลิตง่ายตอกย้ำสิ่งนี้เป็นค่าเริ่มต้น เพราะผลผลิตไม่ต้องเก็บข้อมูลติดตามผล และผลลัพธ์ต้อง

คณิตศาสตร์

ไม่มีสูตร แต่มีการทดสอบที่เชื่อถือได้สำหรับจำแนกตัวชี้วัด:

การทดสอบผลผลิต:  นับได้ ณ จุดส่งมอบ จริงแม้ผู้รับไม่ได้รับผลกระทบหรือไม่?
การทดสอบผลลัพธ์: ต้องใช้การเปรียบเทียบก่อน/หลังหรือมี/ไม่มี จึงจะมีความหมายหรือไม่?

หากตัวเลขเป็นจริงได้โดยไม่มีประโยชน์ต่อใครเลย มันคือผลผลิต

สิ่งนี้อยู่ภายในห่วงโซ่ แบบจำลองตรรกะ ที่กว้างกว่า และขึ้นกับความเชื่อมโยงของผลลัพธ์ที่กำหนดไว้ใน ทฤษฎีการเปลี่ยนแปลง การแปลงผลลัพธ์เป็นเงินใช้วิธีใน ผลตอบแทนทางสังคมจากการลงทุน

ตัวอย่างการคำนวณ

หน่วยงานท้องถิ่น (การสนับสนุนการจ้างงาน): ผลผลิต — 500 คนเข้าร่วมเวิร์กช็อปหางาน ผลลัพธ์ — ที่การติดตามผล 12 เดือน 140 จาก 500 คนนั้น (28%) มีงานทำอย่างยั่งยืน (6+ เดือน) กลุ่มเปรียบเทียบที่มีลักษณะคล้ายกันแต่ไม่เข้าถึงโครงการมีอัตราการจ้างงานฐาน 15% ในช่วงเวลาเดียวกัน ส่วนเพิ่มผลลัพธ์สุทธิ: 28% − 15% = 13 จุดเปอร์เซ็นต์ จึงประมาณว่า 500 × 0.13 = 65 คนเพิ่มเติมมีงานทำที่ไม่มีมิฉะนั้น — ผลลัพธ์ที่ระบุที่มาได้ ต่างจากทั้งตัวเลขการเข้าร่วม 500 และจำนวนการจ้างงานดิบ 140

องค์กรการกุศล (องค์กรส่งเสริมการอ่าน): ผลผลิต — ส่งมอบเซสชันการอ่าน 1,200 ครั้งให้เด็ก 300 คน ผลลัพธ์ — อายุการอ่านเฉลี่ยดีขึ้น 8 เดือนในช่วง 6 เดือน เทียบกับฐานความก้าวหน้าตามธรรมชาติที่คาดไว้ 6 เดือนใน 6 เดือน ผลได้ผลลัพธ์สุทธิ: 8 − 6 = อายุการอ่านดีขึ้นเพิ่มเติม 2 เดือนต่อเด็กที่ระบุว่าเป็นผลของโครงการ ไม่ใช่ตัวเลข 8 เดือนเต็ม

ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์

บันทึกเหตุการณ์และระบบธุรกรรมติดตั้งเครื่องมือวัดผลผลิตเกือบอัตโนมัติ — การเปิดดูหน้า เซสชัน ตั๋วที่ปิด การนัดหมายที่จอง — เพราะระบบสร้างขึ้นเมื่อทำงานของมัน ผลลัพธ์ต้องการโมเดลข้อมูลที่จับบุคคลเดียวกันในเวลาต่อมาเทียบกับฐานหรือการเปรียบเทียบ ซึ่งต้องออกแบบไว้อย่างตั้งใจ: แบบสำรวจติดตามผล ระเบียนบริหารที่เชื่อมโยง หรือกลุ่มเปรียบเทียบ เครื่องมือรายงานที่รองรับเฉพาะอย่างแรกจะค่อย ๆ ชักนำองค์กรไปสู่การรายงานเฉพาะผลผลิตอย่างเงียบ ๆ ไม่ว่าผู้ให้ทุนจะขออะไร ดู แบบจำลองตรรกะ สำหรับตำแหน่งของผลลัพธ์ในห่วงโซ่ความรับผิดชอบ ต้นทุนต่อผลลัพธ์ สำหรับการเปลี่ยนความแตกต่างนี้เป็นตัวชี้วัดต้นทุนต่อหน่วย และ ตัวชี้วัดผลงานหลักของภาครัฐ สำหรับรูปแบบที่กว้างขึ้นของการเลือกตัวชี้วัด

ข้อผิดพลาดที่พบบ่อย

  • รายงานผลผลิตราวกับเป็นผลลัพธ์ "500 คนเข้าร่วม" บ่งชี้ประโยชน์โดยไม่แสดงให้เห็น ติดป้ายการเข้าร่วมเป็นผลผลิตอย่างชัดเจน
  • ไม่มีฐานหรือกลุ่มเปรียบเทียบ ตัวเลขผลลัพธ์ที่ไม่มีสภาพตรงข้ามกับข้อเท็จจริง — ดู การวิเคราะห์สภาพตรงข้ามกับข้อเท็จจริง — แยกผลของโครงการออกจากสิ่งที่จะเกิดขึ้นอยู่แล้วไม่ได้
  • ปรับให้เหมาะกับตัวชี้วัดที่ได้รับทุน เมื่อเงินทุนผูกกับปริมาณผลผลิต ทีมส่งมอบเพิ่มการเข้าร่วมให้มากที่สุดมากกว่าการเปลี่ยนแปลงที่ยั่งยืนอย่างสมเหตุสมผล รูปแบบความล้มเหลวตามกฎของ Goodhart
  • การฟอกผลลัพธ์ การเปลี่ยนป้ายตัวชี้วัดผลผลิตด้วยภาษาที่ฟังเหมือนผลลัพธ์ ("ผลลัพธ์ด้านการมีส่วนร่วม: ผู้เข้าร่วม 500 คน") โดยไม่มีการวัดติดตามผลใด ๆ อยู่เบื้องหลัง

แหล่งอ้างอิง