第 64 个主题,共 64 个· 软件工程与数字交付的关联

公共部门中的 AI 生产力

关于 AI 编程辅助对工程产出究竟产生了什么影响的各项指标——建议采纳率、受控研究中的提速效果、PR 吞吐量、代码留存率——即便在加入公共部门的各种约束之前,其证据基础本身就存在真实的矛盾:数据分类决定了 AI 工具究竟能触碰遗留系统资产中的哪些部分,采购周期往往意味着受评估的工具比当前能力落后一个模型世代,而安全许可要求则决定了谁可以在何种场景下使用它。

为何重要

被引用最多的两项受控研究结论截然相反。Peng 等人 2023 年针对 GitHub Copilot 的随机对照试验(RCT)发现,开发者在使用 Copilot 完成一项全新的 HTTP 服务器任务时速度提升了 55.8%(1 小时 11 分钟 vs 2 小时 41 分钟,n=95)。METR 在 2025 年的 RCT 发现,经验丰富的开源开发者在处理他们自己成熟的代码仓库时,使用 2025 年初的 AI 工具反而慢了 19%,而他们自己却以为快了约 20%。这两项研究都是严谨可靠的;矛盾本身正是研究发现——在全新任务上的有效性并不能迁移到成熟代码库上的有效性,而政府工程工作中很大一部分正是在比中位数商业代码仓库更老旧、更具特殊性的资产上从事成熟代码库工作。英国中央数字与数据办公室的《政府生成式人工智能框架》(2024,https://www.gov.uk/government/publications/generative-ai-framework-for-hmg)之所以制定负责任采用的原则,正是因为这套证据基础不能简单地从供应商演示中直接搬用;各部门被要求在推广之前,依据自身的数据处理与安全要求对工具进行评估。

数学原理

采纳率     = 被采纳的建议数 / 展示的建议数
留存率     = 合并入库时仍保留的 AI 代码 / 被采纳的 AI 代码
提速效果   = (对照组用时 − AI 组用时) / 对照组用时  (仅适用于受控对比)
吞吐量变化 = 每位开发者每周合并 PR 数的变化量 Δ

公共部门覆盖率系数:
  合格代码库占比 = 数据分类(OFFICIAL、OFFICIAL-SENSITIVE、SECRET)
    允许该工具使用的代码行数占比

价值模型 = 开发者人数 × 合格覆盖率 × 节省时间 × 全成本时薪 × 利用率
          ——每一项都需要本地实测,而覆盖率系数在私营部门中
          没有对应项

实例演算

某政府部门在 300 名开发者中试点一款 AI 编程助手,但只有分类为 OFFICIAL 的系统才允许使用该工具——按人头分配占整体资产的 70%,其余 30%(更高密级的系统)完全被排除在外。

合格开发者数 = 300 × 0.70 = 210

试点结果:自我报告节省时间为每天 40 分钟;
          实测的任务层面节省为每天 12 分钟(0.2 小时)
          ——METR 的感知偏差在真实环境中重现

按实测数字计算价值:
  210 × 0.2 小时 × 220 天 × 每小时全成本 55 英镑 × 0.6 利用率
  = 210 × 44 小时 × 55 英镑 × 0.6
  = 9,240 小时 × 55 英镑 × 0.6 ≈ 304,920 英镑/年 的产能价值

成本:210 个授权席位 × 每月 22 英镑 × 12 ≈ 55,440 英镑/年

净产能比 ≈ 304,920 / 55,440 ≈ 5.5:1

可获得资助的规模大约只有自我报告收益的三分之一,而且这还是在应用了分类密级上限之后得出的——如果按自我报告数字为全部 300 名开发者购买授权,将同时高估合格人群规模和真实节省效果。

与软件工程的关联

可以直接迁移过来的纪律包括:在部门自己的代码库和真实工单上开展务实的试验,而不是使用供应商演示任务,因为 METR 的结果正是一项针对成熟代码库的发现;将采纳率视为一个代理指标,而非结果本身——采纳率高但留存率低,在软件领域相当于医学上的"过度诊断";每一个吞吐量声明都应配以稳定性核查,因为 DORA 2025 年报告发现,AI 的采用会提升吞吐量,但会降低变更稳定性,这正是面向公共价值的 DORA 指标所要开展的净收益分析;还要诚实地认识到,AI 工具可能会拉大而非缩小技术债沉重的遗留资产之间的差距,因为训练数据对政府中常见的 COBOL、第四代语言以及定制大型机代码覆盖不足,这使得恰恰最需要帮助的系统上建议质量往往最差。这一话题与更广泛的政府中人工智能的价值问题并列,并应受到与公共部门网络安全价值相同的约束管辖——后者限制着任何第三方工具究竟能在何处接触代码或数据。

常见陷阱

  • 供应商研究的照搬移植:将全新任务 RCT 的提速结果套用到遗留系统集成工作上,正是 METR 研究所揭示的那种错误。
  • 将自我报告当作实测:20 个百分点的感知与实测差距,是这一领域已知最大的偏差,它会使仅依赖开发者调查的商业论证被夸大。
  • 忽视分类密级上限:以总人头数、而非合格且通过密级审查的子集为基础构建授权与价值模型,会系统性地高估成本效益和可实现的覆盖率。
  • 采购周期滞后:基于框架协议的工具采购可能意味着,到全面推广之时,试点所评估的模型已经比公开可用的版本落后 12 至 18 个月,使得原始商业论证中的提速假设在正式上线前就已经过时。

参考资料