OpenAI · 失准报告与通报· Joy Hsu, Sam Arnesen·· 5 天前精选AI 评分72
OpenAI 研究发现智能体安全评测成功率普遍低于生产表现，评测目标感知是关键因素
Eval-production behavior gaps in agent safety and the role of eval-awareness
AI 导读
OpenAI 发布研究，对比六款模型在 Respecting Warnings 安全评测与匹配的 Codex 生产决策中的表现，发现评测成功率普遍低于生产，差距为 10.2 至 37.4 个百分点，其中 GPT-5.6 Sol 与 GPT-6 Sol 差距最大。
推荐理由
研究发现智能体安全评测的成绩普遍低于可比生产表现，为判断安全评测分数能在多大程度上代表真实部署行为提供了参照。
来源：OpenAI · 失准报告与通报 · alignment.openai.com