OpenAI · 失准报告与通报· Alex Makelov, Xiaojun Xu, Sundaram Ananthanarayanan, Ethan Mcdonald, Tom Dupre la Tour·· 6 天前精选AI 评分65
OpenAI 训练并部署激活分类器,为大模型安全与对齐增加实时监测层
Training activation classifiers for safety and alignment
AI 导读
OpenAI 训练并部署激活分类器(探针)作为大模型的额外安全层,从 GPT-5.6 起在最强模型的全部助手输出上运行。探针利用模型内部激活逐 token 打分,可中途拦截违规回复、阻断工具调用并升级给推理模型复核;实验显示其对测试过的越狱比文本分类器更鲁棒,精度随模型能力提升,在后训练检查点间迁移良好,但换新预训练基座需要重训,且只能检测有标注数据训练过的已知违规类型。
推荐理由
原文比较激活探针与文本分类器在越狱鲁棒性和运行效率上的差异,并给出跨模型迁移与重训的边界。
来源:OpenAI · 失准报告与通报 · alignment.openai.com