跳到正文
原文
Ars Technica · AI· Kyle Orland·· 4 小时前AI 评分70

哈佛研究发现AI编码智能体生成更多代码但未增加软件产出

AI coding agents generate more code, but not more software

AI 导读

哈佛大学Fiona Chen与James Stratton利用Jellyfish的汇总工程数据发现,企业使用AI编码工具后,几乎没有证据表明软件产出增加或用工减少。样本覆盖2021年至2026年3月、700余家软件公司、逾70万名员工和3亿条工作事件。编码阶段的效率提升被下游约束吸收,代码审查明显变长,pull request更常需要修订,审阅者留下的评论也更多。

正文 · AI 翻译

任何哪怕只是略微接触过计算机编程的人都知道,现代 AI 编程助手和智能体 能够极其高效地生成大量可用代码。但使用这些工具的程序员也 清楚不该轻信这些代码的准确性,这意味着 需要投入大量精力 来审查任何 AI 生成的输出。

一项近期研究考察了数百家公司的实际编程实践,发现人工代码审查构成了 AI 编程工具整体效率的显著“瓶颈”,因而“几乎没有证据表明企业通过使用这些工具提高了软件产出或减少了用工”。研究作者发现,实际编码阶段提升的任何效率都被“生产流程中的下游约束所吸收”;因为“代码审查流程显著变长,拉取请求更可能需要修订,审查者也会留下更多评论。”

切一次,量两次

为得出这些结论,哈佛大学研究人员 Fiona Chen 和 James Stratton 使用了来自 Jellyfish 的汇总分析数据,该公司衡量工程团队的细粒度产出。这些数据涵盖 2021 年至 2026 年 3 月期间 700 多家相关软件开发公司逾 70 万名员工的 3 亿条单独“工作事件”(例如提交和拉取请求)以及问题管理软件数据。

阅读全文

评论

来源:Ars Technica · AI · arstechnica.com