AI 模型
Red Hat 基准：Jev 类“决策模型”在护栏任务上未稳定跑赢 LLM-as-a-judge 与传统分类器
据 Red Hat 开发者博客 10 月 2 日文章，Red Hat AI Safety 团队把 TypeSafe 的“决策模型”Jev（System One）与其他护栏方法在提示注入与内容安全两个基准上横向比对。结论：Jev 类决策模型未能在速度或准确率上稳定超过 LLM-as-a-judge、预训练小分类器或开源替代。提示注入基准中，预训练分类器 deberta-v3（<200M 参数）准确率 89.01%、中位延迟 54.1ms 居前；Jev 准确率 86.35%、中位延迟 348.1ms，排第 4。内容安全基准中 Jev 准确率 86.20% 居首，granite-guardian-hap-125m 为 80.27% 但中位延迟仅 33.2ms。文中指出测试方 Red Hat 主推自家 OpenShift AI 默认小分类器，存在立场。
对 AI 使用者意味着什么
典型“新概念被吹爆、独立测试打脸”的样本。看到“比 LLM 快 N 倍 / 更便宜”的新模型品类，先等独立 benchmark，别信厂商自报。
来源：Red Hat Developer 博客 ↗ 原文链接
有具体工作流问题？联系咨询。新闻本身免费阅读。