AI Agent
用 100 条 agent 轨迹实测决策模型：Perplexity 0.82 美分/百次 F1 0.79，OpenAI 3.72 美分 F1 0.87，差 4.5 倍
Hamel Husain 与 Antaripa Saha 用 100 条公寓租赁 agent 对话轨迹做 pass/fail 评测，把 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash、OpenAI Decisions（GPT-6 Luna）放在同一套标准与同一批人类标注上比。按 F1 调阈值后：Perplexity 0.82 美分/100 次、F1 0.79；OpenAI 3.72 美分、F1 0.87，约 4.5 倍价。结论之一是别用默认 0.50 阈值——文中举例说明，一个给失败打 0.40、给通过打 0.10 的模型在 0.50 下一条都抓不到（这是假设示例，不是观测结果）。
对 AI 使用者意味着什么
决策模型这一层从「谁发布了」进入「怎么标定、怎么算账」。在跑 eval、分类、告警的团队，先把自己那套阈值按 F1 调一遍，比换模型便宜。分数当置信度用之前必须校准：文中一组 Clef Flash 预测平均 8% 会失败，实际 60% 含失败。
来源：Hamel Husain：How To Use Decision Models for Evals ↗ 原文链接
有具体工作流问题？联系咨询。新闻本身免费阅读。