← 返回 AI 情报站

AI 研究

开源 benchmark Parsimony:测 AI 编程 agent「净增了多少代码」

原文/事件时间:

本站核验:

Show HN(HN Firebase time 2026-10-13T19:50:31Z,69 分 / 13 评论)上线开源 benchmark Parsimony,测的不是「解不解得出来」,而是 AI 编程 agent 净增多少代码:取已公开 patch,按语法单元(不是行数)计数,净增 = 新增 − 删除,删代码有奖励。作者在站点公布约 26 个模型在 DeepSWE Python 任务上的排名,代码与校验 hash 挂在 GitHub(MIT)。为个人项目(GitHub 9 星)、作者自述,榜单排名不应写死。

对 AI 使用者意味着什么

编程 benchmark 开始进入「克制度」维度,惩罚堆代码量;为个人自测榜、任务数口径略有出入。

来源:Parsimony ↗ 原文链接、GitHub ↗ 原文链接、Hacker News ↗ 原文链接

有具体工作流问题?联系咨询。新闻本身免费阅读。