AI 研究
DishwasherBench:社区用「把碗装进洗碗机」的物理仿真基准测前沿模型
据 GitHub 仓库 composo-ai/DishwasherBench(v0.1.0,MIT,作者 Composo),这是一个基于单台真实洗碗机(Bosch SMV4HAX40G)物理仿真的装碗小游戏(游戏名 Spotless),既可由人在浏览器玩,也可让模型经 MCP 玩,用作 benchmark。仓库自述:仿真仅按一次真实洗涤校准;48 项装载现象中 17 项通过、21 项在量级或符号上失败;目前仅 2 个模型经 OpenAI 兼容接口跑了 3 个关卡共 6 局,无人类基线,也未对 Anthropic API 实测。10-13 上 Hacker News(约 52 分)。
对 AI 使用者意味着什么
AI 评测从代码/数学往真实物理任务延伸,也暴露前沿模型的具身短板;但为社区自建、样本量小、无人类基线。
有具体工作流问题?联系咨询。新闻本身免费阅读。