第 64 个主题,共 64 个· 软件工程搭数字交付个关联
公共部门个 AI 生产力
AI 编程助手对工程产出到底有啥影响,搿方面个指标——建议接受率、对照研究里个提速、PR 吞吐量搭代码留存率——就算还呒没加上公共部门个限制,证据基础本身已经真正自相矛盾:数据分级限制仔 AI 工具到底好碰遗留系统个哪几部分;采购周期意味着受评估个工具往往落后当前能力一代模型;安全许可要求又规定谁好勒啥系统上用伊。
为啥重要
被引用最多个两项对照研究,结论恰恰相反。Peng 等人 2023 年个 GitHub Copilot 随机对照试验发现,开发者完成一个全新个 HTTP 服务器任务,用 Copilot 快 55.8%(1 小时 11 分钟对 2 小时 41 分钟,n=95)。METR 2025 年个随机对照试验发现,有经验个开源开发者勒自己成熟个代码库上工作,用 2025 年初个 AI 工具反而慢 19%,而伊拉自己以为快仔大约 20%。两项研究侪站得牢脚;矛盾本身就是发现——全新任务上个效能勿会自动搬到成熟代码库上个效果,而政府工程里交关是成熟代码库个工作,搿些系统比一般商业代码库更老、更特殊。中央数字与数据办公室(Central Digital and Data Office)个《HMG 生成式 AI 框架》(2024,https://www.gov.uk/government/publications/generative-ai-framework-for-hmg)提出负责任采用个原则,正是因为搿套证据勿好直接从供应商个演示里搬过来;各部门应该勒推广之前,对照自己个数据处理搭安全要求来评估工具。
数学
接受率 = 被接受个建议 / 展示个建议
留存率 = 存活到合并个 AI 代码 / 被接受个 AI 代码
提速 = (t_对照 − t_AI) / t_对照 (只好来自对照比较)
吞吐量变化 = Δ 每个开发者每周合并个 PR
公共部门覆盖系数:
可用代码库占比 = 勒分级(OFFICIAL、OFFICIAL-SENSITIVE、SECRET)
允许使用搿个工具个系统上个代码行数
价值模型 = 开发者人数 × 可用覆盖率 × 节省个辰光 × 含附加成本个费率 × 使用率
—— 每一项侪要本地测量,而且覆盖系数
勒私营部门无没对应个东西
实例演算
一个政府部门勒 300 个开发者当中试点 AI 编程助手,但是只有分级为 OFFICIAL 个系统才好用工具——按人头分配占整个系统个 70%,剩下 30%(更高分级个系统)完全排除勒外。
可用开发者 = 300 × 0.70 = 210
试点结果:自己报告节省辰光 40 分钟/天;
实际量到个任务级节省 12 分钟/天(0.2 小时)
—— METR 个认知落差,勒现实里重现仔
按量到个数字估值:
210 × 0.2 小时 × 220 天 × £55/小时(含附加成本)× 0.6 使用率
= 210 × 44 小时 × £55 × 0.6
= 9,240 小时 × £55 × 0.6 ≈ £304,920/年 产能
成本:210 个许可席位 × £22/月 × 12 ≈ £55,440/年
净产能比 ≈ 304,920 / 55,440 ≈ 5.5:1
大约是自己报告收益个三分之一,而且要先套上分级上限,才值得出资——如果依据自己报告个数字给 300 个开发者全部买许可,可用人群搭真实节省两样侪会高估。
搭软件工程个关联
可以直接搬过来个做法:勒部门自己个代码库搭真实个工单上做务实试验(pragmatic trials),勿要用供应商演示任务,因为 METR 个结果特指成熟代码库;拿接受率当作代理指标,勿是成果——接受率高但是留存率低,就是软件领域个过度诊断;每一个吞吐量声明侪要配一个稳定性检查,因为 DORA 2025 年报告发现 AI 采用会提高吞吐量,但是会降低变更稳定性,搿正是公共价值个 DORA 指标设计出来要跑个净收益分析;还要老实承认,勒技术债沉重个遗留系统上,AI 工具可能拉大差距,而勿是缩小,因为训练数据里 COBOL、4GL 搭定制大型机代码个代表性勿够,而政府里搿类代码恰恰交关,所以最需要帮忙个系统上,建议个质量往往最差。搿搭更大个政府个 AI 价值问题是连牢个,而且应该受搿套公共部门网络安全价值约束管牢,伊拉限制任何第三方工具好看到代码或者数据个范围。
容易踏个坑
- 照搬供应商研究:拿全新任务个随机对照提速套到遗留系统集成工作上,正是 METR 研究揭穿个错误。
- 拿自己报告当测量:认知上同量到个相差 20 个百分点,是搿方面文献里已知最大个偏差,单靠开发者问卷个业务案例会被夸大。
- 忽略分级上限:基于总人头、勿是基于通过分级许可个可用子集做个许可搭价值模型,会系统性高估成本效益搭可以达到个覆盖率。
- 采购周期滞后:基于框架协议个工具采购,可能意味着试点评估个模型,到全面推广个辰光已经比公开可得个落后 12–18 个月,原来业务案例里个提速假设勒上线之前就已经过时仔。
资料来源
- Peng S, et al., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot", 2023. https://arxiv.org/abs/2302.06590
- METR, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", 2025. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
- DORA, 2025 State of AI-assisted Software Development report. https://dora.dev/dora-report-2025/
- Central Digital and Data Office, Generative AI Framework for HMG, 2024. https://www.gov.uk/government/publications/generative-ai-framework-for-hmg