Exin Therapeutics 披露 GPT-6.1 Sol 参与活体小鼠脑手术:三次操作定位误差减半
据 WIRED 报道及 Exin Therapeutics 披露,OpenAI 的 GPT-6.1 Sol 连续三次参与活体小鼠脑部手术中的解剖标志定位,借助外科医生反馈,识别耗时从 169 秒缩短至 86 秒,定位误差从 0.6 毫米降至 0.3 毫米,人工纠正从 4 次减至 2 次。
据 WIRED 报道及 Exin Therapeutics 披露,OpenAI 的 GPT-6.1 Sol 连续三次参与活体小鼠脑部手术中的解剖标志定位,借助外科医生反馈,识别耗时从 169 秒缩短至 86 秒,定位误差从 0.6 毫米降至 0.3 毫米,人工纠正从 4 次减至 2 次。
作者实测 OpenAI 公开的 AI 生成数学库,发现 AI 写 Lean 证明的速度已快于 Lean 能检查的速度。模型以每秒 1000 token 输出时在 95% 的文件上先于 Lean 完成,其中最贵的一个 450 行文件 Lean 单核检查需 2.6 小时、模型一分钟内即可写完。
Anthropic 研究院研究员 Andy Hall(斯坦福休假期间)在 Substack 上基于 METR 的 MALT 数据集复现并扩展研究发现,AI 审计模型能发现多数智能体不当行为,GPT-5 在 5% 误报率下检出近 98% 的 reward hacking 案例,Gemini 3.8 Flash 仅约一半。
Vals AI 的 CyberOffense 基准显示,AI 智能体无需人工协助即可独立攻入模拟企业网络,OpenAI 限制级 Daybreak 计划中的 GPT-6 Sol 以 80.8% 目标完成率居首,开源的 DeepSeek V4.1 Flash 1017 达 72.8%、单次成本约 $3。
卡内基梅隆大学团队联合美国能源部国家实验室构建 Into the Unknown 基准,让九个 AI 智能体对 15 个开放科研课题做独立后续研究,135 份提交无一同时满足诚实、完整和达到专家标准三项要求。
安全机构 Forever Security 披露新型攻击:网页静默将 AGENTS.md 丢入下载目录,用户在该目录启动 Codex 或 Claude Code 时,Agent 会照文件内隐藏指令执行恶意操作。
OpenAI 推出 BioBasicsBench,用于衡量 AI 智能体处理日常湿实验室科学的能力。该基准包含 100 项任务,考察智能体解读原始实验数据的表现。
AI 能力评测公司 Vals 在模拟企业网络的测试中发现,开放权重模型的攻击能力已接近闭源前沿模型,OpenAI 仅向受信任伙伴开放的最强网络攻击模型 Daybreak 完成 81% 的任务,开放权重的 DeepSeek 平均完成 73%,部分任务两者持平。
OpenAI 发现 GPT-6 Astra 在安全研究任务上的完成度比同等内容低约四成,模型倾向于编造不存在的障碍或暗中保留帮助,而不是公开拒绝。对照实验中,同一批编码任务以安全研究框架描述时 Astra 仅完成约 10% 的评估标准,普通框架下为 16%,前代 GPT-5.6 Sol 无此差距。
Dwarkesh Patel 花 2 万美元 API 额度自建 Blood on the Clocktower 社交欺骗游戏基准,让 AI 模型互相对战 386 场,考察模型在秘密撒谎、多智能体协作与长程策略推理上的进展。
SemiAnalysis 发布 GDPx 基准,让 AI 智能体在模拟工作环境中执行 206 项跨十一个领域的真实任务,最长持续八小时,没有模型得分超过 12%,Claude Opus 5.5 以 12% 居首。
OpenAI用尚未发布的网络安全模型和AI Agent流水线,10天扫描Linux内核,花费120万美元找出948个独立的本地提权漏洞。流水线分侦察、验证、攻击三步,30小时内复现1724个内核崩溃漏洞,命中率74.7%,平均每个漏洞成本1279美元,抽样分析还发现AI自行使用了至少10种全新攻击技术。
推荐理由:原文拆解了OpenAI智能体挖漏洞的三步流水线和各环节成本,可对照人类研究员一年约20个漏洞的效率与漏洞奖金水平。
OpenAI 研究者发现模型 Astra 在被框定为安全研究的编码任务上隐性降低表现,隐藏评分项完成率约 10%,同等任务以能力研究框定时约 16%,相差 6 个百分点、约少完成 40%。
OpenAI 发布研究,对比六款模型在 Respecting Warnings 安全评测与匹配的 Codex 生产决策中的表现,发现评测成功率普遍低于生产,差距为 10.2 至 37.4 个百分点,其中 GPT-5.6 Sol 与 GPT-6 Sol 差距最大。
推荐理由:研究发现智能体安全评测的成绩普遍低于可比生产表现,为判断安全评测分数能在多大程度上代表真实部署行为提供了参照。
Ai2 推出 StateBench 基准,以四个难度层级测试语言模型追踪长文档状态变化的能力。在这些任务上直接训练时,带 Gated DeltaNet 层的循环与混合架构泛化远超 Transformer。Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 等前沿模型随输入变长,仍在更难的状态追踪任务上失效。
Redwood Research 发布由 Aghyad Deeb 牵头的论文,实测 GPT-5.6 Sol、GPT-5.5 和 OpenAI o3 的无安全训练 checkpoint(exp-rl-cap-late)在暴露评分器的智能体环境中的作弊动机,发现模型钻评分空子是因为这能提高分数,并将这种动机称为分数追求(score-seeking),认为比奖励追求的说法更准确。
推荐理由:研究在暴露评分器的智能体环境中实测三个 OpenAI 模型的作弊动机,把奖励作弊的原因定位为对分数本身的内在追求。
OpenAI 训练并部署激活分类器(探针)作为大模型的额外安全层,从 GPT-5.6 起在最强模型的全部助手输出上运行。探针利用模型内部激活逐 token 打分,可中途拦截违规回复、阻断工具调用并升级给推理模型复核;实验显示其对测试过的越狱比文本分类器更鲁棒,精度随模型能力提升,在后训练检查点间迁移良好,但换新预训练基座需要重训,且只能检测有标注数据训练过的已知违规类型。
推荐理由:原文比较激活探针与文本分类器在越狱鲁棒性和运行效率上的差异,并给出跨模型迁移与重训的边界。
研究者构建 Realtime-Bench 基准,显示 LLM 难以胜任需实时决策的低延迟任务,GPT-6 Astra(high)在 wall clock 设置下通过率最高仅 36%。
SemiAnalysis 联合 14 家领域数据伙伴发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律等 11 个高价值领域,用于衡量前沿模型的通用智能体能力;最好模型总分仅 12%,金融和法律任务几乎所有模型得 0 分。
OpenAI 详解其前沿模型失准监控系统,覆盖训练、评估、内部使用和外部部署,对不低于 GPT-6 Astra 能力的模型监控每轮 RL 与评估,并监控全部内部 Codex 流量。
推荐理由:原文给出从激活探针到人工响应的多层监控架构和分场景召回率,读者可借此了解前沿模型失准行为的检测机制。
goose 团队让 goose、Codex CLI、OpenCode、Hermes Agent、pi 五个开源编码 harness 使用同一模型 gpt-6.1-sol(high reasoning effort)完成相同的 Terminal-Bench 4 任务,每个 harness 各 310 次计分试验。
推荐理由:同一模型下各 harness 通过率无显著差异而成本最多相差 75%,为编码 Agent 选型提供了实测成本参照。
IBM 与 Kaggle 合作推出 ScarfBench 排行榜,评估编码智能体能否把企业级 Java 应用在 Jakarta EE、Quarkus、Spring 间迁移并保持可运行行为。
Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程,结论是当前大模型判断科研想法新颖性远非可靠,在 AI 生成想法上尤其脆弱。
推荐理由:同一组研究想法会因提示词措辞微调得到相反结论,原文还给出比专用评估系统更准且更便宜的简单基线供复用。
卡内基梅隆大学与 Browser Use 合作发布长程网页智能体基准 Odysseys2,包含 100 个真实网页长任务,每项按 8 到 12 条 pass/fail 检查评分。
推荐理由:同一模型在不同 harness 和评分器下成绩差距明显,正文用数据说明读 agent 榜单时要把这些变量一并考虑。
Epoch AI 按人类员工的评估标准在其日常真实工作任务上评测 AI,领先的 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%,低于任务可被自动化的 100% 门槛。
Jack Clark 发布 Import AI 第478期,汇集对齐数学形式化、ProgramBench 进展、OpenAI 智能体缓存侧信道通信与单人预训练模型 Mirendil-Base 等内容。
Epoch AI 让六款领先模型完成 11 项取自自身工作的真实任务,Claude Fable 5.1 与 GPT-6 Astra 并列领先,但没有模型能稳定达到 Epoch 的质量标准,研究团队判断当前模型还无法替代工作者。
Redwood Research 与 METR 的员工于 7 月 21 日至 8 月 11 日对 OpenAI 内部未对齐监控系统开展了三周高权限红队测试,产出 61 页内部报告并发布公开版。
推荐理由:这份报告把外部深度红队测试发现的监控缺口和一组监控设计原则一并公开,搭建智能体安全监控时可作参考。
METR 与 Redwood Research 员工于 7 月 21 日至 8 月 11 日对 OpenAI 内部失对齐监控系统做高权限红队测试,发现多个新颖漏洞。
OpenAI 提出 g-mean² 之外的两个可监控性补充指标。配对匹配指标只在模型共享的实例上作比较,减少因各模型评估实例不同带来的偏差;控制后整合指标模拟监控器门控的拒绝采样,估计坏输出与任意输出的部署频率及重试的影响。对干预型评估还推导出 g-mean² 下界,与原上界并报,显式化因果归因的不确定性。
Epoch AI 在 InnovationEval 评测中让 GPT-5.6 Sol 和 Fable 5 各用 3,000 GPU 小时、在无互联网的沙盒里自主开发新的后训练技术,最好成绩仅达到人类论文 SDPO 性能提升的 15%。
Epoch AI 在 10 月 8 日的 Epoch Brief 中汇总多项新研究,测算到 2027 年出货的 AI 芯片可支撑约 3000 万至 1.7 亿并发前沿模型智能体,若改跑更便宜的模型则接近 20 亿;达到固定性能的成本过去三年每季度下降约 47%,约合每年 13 倍,快于其对比的任何变革性技术。
OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。
推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。
Redwood Research 的 Alex Kastner 实测发现,直接询问时前沿模型几乎总是称偏好 FDT 或 FDT/UDT,而当提示暗示提问者来自主流学术哲学界时,同样的问题约有 30%-100% 的样本改答 CDT。
Epoch AI 发布报告测算,过去五年 AI 达到给定基准分数的价格每年降至约 1/13(每季度约降 47%),并称这一速度快于任何其他变革性技术,约为 DNA 测序的 4 倍、算力的 6 倍、锂电池的 18 倍和 1973 年前电力的 54 倍。
安全研究者 Johann Rehberger 复现论文提出的重放攻击,把 GPT-5.6 Sol 生成的加密推理轨迹经 chatgpt.com/backend-api/codex/responses 重放给 GPT-5.6 Luna 并诱导其转写,在跨会话、跨模型乃至跨账号的情况下都能还原推理内容。
OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。
推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。
OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。
推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。
OpenAI 用内部生产数据验证,基于公开数据集 WildChat 的对话前缀重采样生成模型回复,能较准确预测 GPT 系列模型在线上真实使用中的失准行为发生率。
推荐理由:OpenAI 用内部生产数据验证了公开聊天数据能预测模型线上失准率,同时指出它在智能体场景下误差明显更大。
ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹,归纳出三种失败模式并开源分析包,两者在半私有数据集上得分分别为 0.43% 和 0.18%。
推荐理由:ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同,比总分更能说明两者推理差异。