第 64 個主題,共 64 個· 軟體工程與數位交付的關聯

公共部門中的 AI 生產力

關於 AI 程式設計輔助對工程產出究竟產生了什麼影響的各項指標——建議採納率、受控研究中的提速效果、PR 吞吐量、程式碼留存率——即便在加入公共部門的各種約束之前,其證據基礎本身就存在真實的矛盾:資料分類決定了 AI 工具究竟能觸碰遺留系統資產中的哪些部分,採購週期往往意味著受評估的工具比當前能力落後一個模型世代,而安全許可要求則決定了誰可以在何種場景下使用它。

為何重要

被引用最多的兩項受控研究結論截然相反。Peng 等人 2023 年針對 GitHub Copilot 的隨機對照試驗(RCT)發現,開發者在使用 Copilot 完成一項全新的 HTTP 伺服器任務時速度提升了 55.8%(1 小時 11 分鐘 vs 2 小時 41 分鐘,n=95)。METR 在 2025 年的 RCT 發現,經驗豐富的開源開發者在處理他們自己成熟的程式碼倉庫時,使用 2025 年初的 AI 工具反而慢了 19%,而他們自己卻以為快了約 20%。這兩項研究都是嚴謹可靠的;矛盾本身正是研究發現——在全新任務上的有效性並不能遷移到成熟程式碼庫上的有效性,而政府工程工作中很大一部分正是在比中位數商業程式碼倉庫更老舊、更具特殊性的資產上從事成熟程式碼庫工作。英國中央數位與資料辦公室的《政府生成式人工智慧框架》(2024,https://www.gov.uk/government/publications/generative-ai-framework-for-hmg)之所以制定負責任採用的原則,正是因為這套證據基礎不能簡單地從供應商演示中直接搬用;各部門被要求在推廣之前,依據自身的資料處理與安全要求對工具進行評估。

數學原理

採納率     = 被採納的建議數 / 展示的建議數
留存率     = 合併入庫時仍保留的 AI 程式碼 / 被採納的 AI 程式碼
提速效果   = (對照組用時 − AI 組用時) / 對照組用時  (僅適用於受控對比)
吞吐量變化 = 每位開發者每週合併 PR 數的變化量 Δ

公共部門覆蓋率係數:
  合格程式碼庫佔比 = 資料分類(OFFICIAL、OFFICIAL-SENSITIVE、SECRET)
    允許該工具使用的程式碼行數佔比

價值模型 = 開發者人數 × 合格覆蓋率 × 節省時間 × 全成本時薪 × 利用率
          ——每一項都需要本地實測,而覆蓋率係數在私營部門中
          沒有對應項

實例演算

某政府部門在 300 名開發者中試點一款 AI 程式設計助手,但只有分類為 OFFICIAL 的系統才允許使用該工具——按人頭分配佔整體資產的 70%,其餘 30%(更高密級的系統)完全被排除在外。

合格開發者數 = 300 × 0.70 = 210

試點結果:自我報告節省時間為每天 40 分鐘;
          實測的任務層面節省為每天 12 分鐘(0.2 小時)
          ——METR 的感知偏差在真實環境中重現

按實測數位計算價值:
  210 × 0.2 小時 × 220 天 × 每小時全成本 55 英鎊 × 0.6 利用率
  = 210 × 44 小時 × 55 英鎊 × 0.6
  = 9,240 小時 × 55 英鎊 × 0.6 ≈ 304,920 英鎊/年 的產能價值

成本:210 個授權席位 × 每月 22 英鎊 × 12 ≈ 55,440 英鎊/年

淨產能比 ≈ 304,920 / 55,440 ≈ 5.5:1

可獲得資助的規模大約只有自我報告收益的三分之一,而且這還是在應用了分類密級上限之後得出的——如果按自我報告數位為全部 300 名開發者購買授權,將同時高估合格人群規模和真實節省效果。

與軟體工程的關聯

可以直接遷移過來的紀律包括:在部門自己的程式碼庫和真實工單上開展務實的試驗,而不是使用供應商演示任務,因為 METR 的結果正是一項針對成熟程式碼庫的發現;將採納率視為一個代理指標,而非結果本身——採納率高但留存率低,在軟體領域相當於醫學上的"過度診斷";每一個吞吐量宣告都應配以穩定性核查,因為 DORA 2025 年報告發現,AI 的採用會提升吞吐量,但會降低變更穩定性,這正是面向公共價值的 DORA 指標所要開展的淨收益分析;還要誠實地認識到,AI 工具可能會拉大而非縮小技術債沉重的遺留資產之間的差距,因為訓練資料對政府中常見的 COBOL、第四代語言以及定製大型機程式碼覆蓋不足,這使得恰恰最需要幫助的系統上建議品質往往最差。這一話題與更廣泛的政府中人工智慧的價值問題並列,並應受到與公共部門網路安全價值相同的約束管轄——後者限制著任何第三方工具究竟能在何處接觸程式碼或資料。

常見陷阱

  • 供應商研究的照搬移植:將全新任務 RCT 的提速結果套用到遺留系統整合工作上,正是 METR 研究所揭示的那種錯誤。
  • 將自我報告當作實測:20 個百分點的感知與實測差距,是這一領域已知最大的偏差,它會使僅依賴開發者調查的商業案例被誇大。
  • 忽視分類密級上限:以總人頭數、而非合格且透過密級審查的子集為基礎建置授權與價值模型,會系統性地高估成本效益和可實現的覆蓋率。
  • 採購週期滯後:基於框架協議的工具採購可能意味著,到全面推廣之時,試點所評估的模型已經比公開可用的版本落後 12 至 18 個月,使得原始商業案例中的提速假設在正式上線前就已經過時。

參考資料