หัวข้อที่ 64 จาก 64· ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์และการส่งมอบดิจิทัล

ผลิตภาพของ AI ในภาครัฐ

ตัวชี้วัดว่าเครื่องมือ AI ช่วยเขียนโค้ดส่งผลต่อผลผลิตด้านวิศวกรรมอย่างไรจริง ๆ — อัตราการยอมรับข้อเสนอแนะ ความเร็วที่เพิ่มขึ้นในการศึกษาแบบควบคุม ปริมาณงาน PR และการคงอยู่ของโค้ด — มีฐานหลักฐานที่ขัดแย้งกันอย่างแท้จริงแม้ก่อนจะเพิ่มข้อจำกัดของภาครัฐ: การจัดชั้นข้อมูลจำกัดว่าส่วนใดของระบบเดิมที่เครื่องมือ AI แตะต้องได้เลย วงจรการจัดซื้อหมายความว่าเครื่องมือที่ประเมินมักล้าหลังขีดความสามารถปัจจุบันหนึ่งรุ่นโมเดล และข้อกำหนดด้านการอนุญาตด้านความมั่นคงกำหนดว่าใครใช้งานกับสิ่งใดได้

เหตุใดจึงสำคัญ

การศึกษาแบบควบคุมสองชิ้นที่ถูกอ้างถึงมากที่สุดชี้ไปคนละทิศ RCT ของ Peng และคณะปี 2023 เกี่ยวกับ GitHub Copilot พบว่านักพัฒนาทำงานสร้างเซิร์ฟเวอร์ HTTP ใหม่เสร็จเร็วขึ้น 55.8% เมื่อใช้ Copilot (1 ชม. 11 นาที เทียบกับ 2 ชม. 41 นาที, n=95) RCT ของ METR ปี 2025 พบว่านักพัฒนาโอเพนซอร์สที่มีประสบการณ์ซึ่งทำงานบน คลังโค้ดที่สุกงอมของตนเอง ช้าลง 19% เมื่อใช้เครื่องมือ AI ช่วงต้นปี 2025 ทั้งที่เชื่อว่าตนเองเร็วขึ้นประมาณ 20% การศึกษาทั้งสองชิ้นน่าเชื่อถือ ความขัดแย้งนั้นเองคือข้อค้นพบ — ประสิทธิผลในงานใหม่ไม่ถ่ายโอนไปสู่ประสิทธิผลในฐานโค้ดที่สุกงอม และงานวิศวกรรมภาครัฐจำนวนมากเป็นงานบนฐานโค้ดที่สุกงอมในระบบที่เก่าแก่และมีลักษณะเฉพาะตัวมากกว่าคลังโค้ดเชิงพาณิชย์โดยเฉลี่ย Generative AI Framework for HMG ของ Central Digital and Data Office (2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) กำหนดหลักการสำหรับการนำมาใช้อย่างรับผิดชอบก็เพราะฐานหลักฐานนี้นำเข้าจากการสาธิตของผู้ขายไม่ได้ง่าย ๆ หน่วยงานถูกคาดหวังให้ประเมินเครื่องมือตามข้อกำหนดการจัดการข้อมูลและความมั่นคงปลอดภัยของตนเองก่อนนำไปใช้

คณิตศาสตร์

อัตราการยอมรับ     = ข้อเสนอแนะที่ยอมรับ / ข้อเสนอแนะที่แสดง
อัตราการคงอยู่     = โค้ด AI ที่รอดไปถึงการ merge / โค้ด AI ที่ยอมรับ
ความเร็วที่เพิ่มขึ้น = (t_ควบคุม − t_AI) / t_ควบคุม  (จากการเปรียบเทียบแบบควบคุมเท่านั้น)
ส่วนต่างปริมาณงาน   = Δ PR ที่ merge/นักพัฒนา/สัปดาห์

ตัวประกอบความครอบคลุมของภาครัฐ:
  สัดส่วนฐานโค้ดที่มีสิทธิ์ = LOC บนระบบที่การจัดชั้น
    (OFFICIAL, OFFICIAL-SENSITIVE, SECRET) อนุญาตให้ใช้เครื่องมือได้เลย

แบบจำลองคุณค่า = นักพัฒนา × ความครอบคลุมที่มีสิทธิ์ × เวลาที่ประหยัด × อัตราเต็มจำนวน × อัตราการใช้งาน
             — ทุกพจน์ต้องวัดในพื้นที่จริง และตัวประกอบความครอบคลุม
             ไม่มีสิ่งที่เทียบเท่าในภาคเอกชน

ตัวอย่างการคำนวณ

กระทรวงแห่งหนึ่งนำร่องผู้ช่วยเขียนโค้ด AI กับนักพัฒนา 300 คน แต่เฉพาะระบบที่จัดชั้น OFFICIAL เท่านั้นที่มีสิทธิ์ใช้เครื่องมือ — 70% ของระบบตามการจัดสรรจำนวนบุคลากร ส่วนอีก 30% ที่เหลือ (ระบบที่จัดชั้นสูงกว่า) ถูกยกเว้นทั้งหมด

นักพัฒนาที่มีสิทธิ์ = 300 × 0.70 = 210

ผลนำร่อง: เวลาที่ประหยัดตามที่รายงานเอง 40 นาที/วัน;
          การประหยัดที่วัดได้ระดับงาน 12 นาที/วัน (0.2 ชม.)
          — ช่องว่างด้านการรับรู้ของ METR ที่เกิดซ้ำในสถานการณ์จริง

ประเมินมูลค่าจากตัวเลขที่ "วัดได้":
  210 × 0.2 ชม. × 220 วัน × 55 ปอนด์/ชม. อัตราเต็มจำนวน × 0.6 อัตราการใช้งาน
  = 210 × 44 ชั่วโมง × 55 ปอนด์ × 0.6
  = 9,240 ชั่วโมง × 55 ปอนด์ × 0.6 ≈ ความสามารถ 304,920 ปอนด์/ปี

ต้นทุน: 210 ที่นั่งที่มีใบอนุญาต × 22 ปอนด์/เดือน × 12 ≈ 55,440 ปอนด์/ปี

อัตราส่วนความสามารถสุทธิ ≈ 304,920 / 55,440 ≈ 5.5:1

อนุมัติเงินทุนได้ที่ประมาณหนึ่งในสามของประโยชน์ที่รายงานเอง และหลังจากใช้เพดานการจัดชั้นแล้วเท่านั้น — การออกใบอนุญาตให้นักพัฒนาทั้ง 300 คนโดยอาศัยตัวเลขที่รายงานเองจะประเมินทั้งจำนวนผู้มีสิทธิ์และการประหยัดจริงสูงเกินไป

ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์

วินัยที่ถ่ายโอนได้โดยตรง: ทำ การทดลองเชิงปฏิบัติ บนฐานโค้ดและตั๋วงานจริงของหน่วยงานเอง ไม่ใช่งานสาธิตของผู้ขาย เพราะผลของ METR เป็นข้อค้นพบเฉพาะฐานโค้ดที่สุกงอม; ถือว่า อัตราการยอมรับเป็นตัวแทน ไม่ใช่ผลลัพธ์ — การยอมรับสูงแต่การคงอยู่ต่ำเทียบได้กับการวินิจฉัยเกินจริงในซอฟต์แวร์; จับคู่ข้อกล่าวอ้างเรื่องปริมาณงานทุกข้อกับ การตรวจสอบเสถียรภาพ เพราะรายงาน DORA ปี 2025 พบว่าการนำ AI มาใช้เพิ่มปริมาณงานแต่ทำให้เสถียรภาพของการเปลี่ยนแปลงแย่ลง ซึ่งเป็นการวิเคราะห์ประโยชน์สุทธิที่ ตัวชี้วัด DORA เพื่อคุณค่าสาธารณะ สร้างขึ้นเพื่อดำเนินการ; และยอมรับอย่างตรงไปตรงมาว่าเครื่องมือ AI อาจขยาย ไม่ใช่ลดช่องว่างบนระบบเดิมที่มี หนี้ทางเทคนิค หนัก เพราะข้อมูลฝึกสอนมีโค้ด COBOL, 4GL และโค้ดเมนเฟรมเฉพาะกิจที่พบบ่อยในภาครัฐน้อยเกินไป คุณภาพของข้อเสนอแนะบนระบบที่ต้องการความช่วยเหลือมากที่สุดจึงมักอ่อนที่สุด สิ่งนี้อยู่เคียงข้างคำถามที่กว้างกว่าเรื่อง คุณค่าของ AI ในภาครัฐ และควรอยู่ภายใต้ข้อจำกัดเดียวกันของ คุณค่าของความมั่นคงปลอดภัยไซเบอร์ในภาครัฐ ที่จำกัดว่าเครื่องมือของบุคคลที่สามจะเห็นโค้ดหรือข้อมูลได้ที่ใดเลย

ข้อผิดพลาดที่พบบ่อย

  • การย้ายผลการศึกษาของผู้ขายมาใช้: การนำความเร็วที่เพิ่มขึ้นจาก RCT งานใหม่มาใช้กับงานเชื่อมต่อระบบเดิมคือข้อผิดพลาดที่การศึกษาของ METR เปิดเผย
  • การรายงานเองเป็นการวัด: ช่องว่าง 20 จุดเปอร์เซ็นต์ระหว่างการรับรู้กับค่าที่วัดได้เป็นอคติที่ใหญ่ที่สุดที่ทราบในวรรณกรรมนี้ และทำให้กรณีทางธุรกิจที่อาศัยแบบสำรวจนักพัฒนาเพียงอย่างเดียวพองเกินจริง
  • เพิกเฉยต่อเพดานการจัดชั้น: แบบจำลองใบอนุญาตและคุณค่าที่สร้างบนจำนวนบุคลากรทั้งหมดแทนที่จะเป็นกลุ่มย่อยที่ผ่านการอนุญาตตามชั้นความลับ ประเมินทั้งความคุ้มค่าและความครอบคลุมที่ทำได้สูงเกินไปอย่างเป็นระบบ
  • ความล่าช้าของวงจรการจัดซื้อ: การจัดซื้อเครื่องมือตามกรอบข้อตกลงอาจทำให้โครงการนำร่องประเมินโมเดลรุ่นที่ล้าหลัง 12–18 เดือนเมื่อเทียบกับสิ่งที่เปิดให้ใช้สาธารณะ ณ เวลาที่ใช้งานเต็มรูปแบบ ทำให้สมมติฐานความเร็วที่เพิ่มขึ้นของกรณีทางธุรกิจเดิมล้าสมัยก่อนเปิดใช้งาน

แหล่งอ้างอิง