← 返回 AI 情报站

AI 研究

DishwasherBench:社区用「把碗装进洗碗机」的物理仿真基准测前沿模型

原文/事件时间:

本站核验:

据 GitHub 仓库 composo-ai/DishwasherBench(v0.1.0,MIT,作者 Composo),这是一个基于单台真实洗碗机(Bosch SMV4HAX40G)物理仿真的装碗小游戏(游戏名 Spotless),既可由人在浏览器玩,也可让模型经 MCP 玩,用作 benchmark。仓库自述:仿真仅按一次真实洗涤校准;48 项装载现象中 17 项通过、21 项在量级或符号上失败;目前仅 2 个模型经 OpenAI 兼容接口跑了 3 个关卡共 6 局,无人类基线,也未对 Anthropic API 实测。10-13 上 Hacker News(约 52 分)。

对 AI 使用者意味着什么

AI 评测从代码/数学往真实物理任务延伸,也暴露前沿模型的具身短板;但为社区自建、样本量小、无人类基线。

来源:GitHub ↗ 原文链接

有具体工作流问题?联系咨询。新闻本身免费阅读。