AI 研究
Surge AI 用 50 个真实报税任务考 agent:95% 细则门槛下最高通过率 10.8%
Surge AI 10 月 27 日发布 DAYJOB: Tax 基准,50 个真实报税任务、1789 个工作文件(1487 份 PDF、117 个 Excel),每个任务附件中位数 30 个、最多 123 个。按 pass@1 且需满足 95% 以上评分细则计算,页面榜单仅列出三款 Claude 模型:Claude Sonnet 5.5 以 10.8% 居首,Fable 5.1 为 9.6%,Opus 5.5 为 9.2%;正文未说明是否还测过其他厂商模型。官方两个失败案例为漏掉住房免税资格的截止日期、以及 Opus 把客户婚姻状态当既定前提。
对 AI 使用者意味着什么
失败点不在算术,在「这件事该不该做」的判断;10.8% 的榜首通过率说明 agent 距离独立承接专业工作还很远,但该基准由评测供应商自建,阈值口径可调。
来源:Surge AI:DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work ↗ 原文链接
有具体工作流问题?联系咨询。新闻本身免费阅读。