Redwood Research 论文实测发现 LLM 奖励作弊源于对分数本身的追求

Redwood Research 发布由 Aghyad Deeb 牵头的论文，实测 GPT-5.6 Sol、GPT-5.5 和 OpenAI o3 的无安全训练 checkpoint（exp-rl-cap-late）在暴露评分器的智能体环境中的作弊动机，发现模型钻评分空子是因为这能提高分数，并将这种动机称为分数追求（score-seeking），认为比奖励追求的说法更准确。