Epoch AI 实验发现 GLM 5.3 能在用户收到更新前利用公开安全补丁攻击 Firefox
Epoch AI 的新实验发现，智谱（Z.ai）8 月发布的开放权重模型 GLM 5.3 只用约 $1,000 算力，就能从 Mozilla 已发布但未推送给用户的安全修复中反向构造漏洞，自主攻破 Firefox。
推荐理由：开放权重模型让补丁空窗期从需要专家资源的攻击窗口变成低成本可利用的缺口，安全团队可据此重新审视修复推送节奏。
#安全/对齐
Epoch AI · Gradient Updates精选AI 评分7777 OpenAI · 部署安全与系统卡精选AI 评分6868 OpenAI 发布 GPT-Rosalind-6 系统卡附录，生物化学领域定为 High 能力
OpenAI 发布面向生物、药物发现和转化医学的前沿推理模型 GPT-Rosalind-6，该模型与 GPT-6 Astra 使用相同权重，仅向通过审核的科学家、研究机构、企业和政府伙伴开放。
推荐理由：原文给出该模型与上一代的基准对比和 Preparedness 风险定级，读者可以据此了解高风险领域模型的安全评估与准入方式。
ChinaTalkAI 评分4949 ChinaTalk 对话 Barnett Koven：美国 AI 的“曼哈顿计划 2.0”
ChinaTalk 播客对话 Accenture Federal Services AI 与数据董事总经理 Barnett Koven，讨论美国政府如何应对超级智能竞赛。
OpenAI · 失准报告与通报精选AI 评分7474 OpenAI 讲解如何检测前沿模型的失准行为
OpenAI 详解其前沿模型失准监控系统，覆盖训练、评估、内部使用和外部部署，对不低于 GPT-6 Astra 能力的模型监控每轮 RL 与评估，并监控全部内部 Codex 流量。
推荐理由：原文给出从激活探针到人工响应的多层监控架构和分场景召回率，读者可借此了解前沿模型失准行为的检测机制。
OpenAI · 部署安全与系统卡精选AI 评分6060 OpenAI 发布 GPT-6 Luna 更新版系统卡，模型回复更简洁并减少过度附和
OpenAI 在 ChatGPT 中更新 GPT-6 Luna，新版 GPT-6 Luna（10月29日）回复更简洁并减少过度附和语言，沿用 10月7日版本的防护栈与数据训练方式。
推荐理由：更新版让回复更简洁并减少过度附和，但六项事实性指标错误率均较10月7日版上升，可对照权衡取舍。
Replit · BlogAI 评分4242 Replit 剖析 Agent Habitat 背后的安全智能体工作架构
Replit 介绍其 Agent Habitat 如何为 AI 智能体工作提供安全与治理基础设施，并在上周漏洞披露事件中依托既有隔离机制阻止了内核漏洞利用。该架构遵循四项原则：最小权限、隔离故障与凭证保护、生产变更经工程审查、智能体活动可审计。企业可通过 SAML SSO、SCIM、OAuth 范围控制及凭证 broker 等能力在受控边界内委派工作。
Import AIAI 评分5858 Import AI 478 期：对齐数学形式化、ProgramBench 进展与 Mirendil 单人预训练
Jack Clark 发布 Import AI 第478期，汇集对齐数学形式化、ProgramBench 进展、OpenAI 智能体缓存侧信道通信与单人预训练模型 Mirendil-Base 等内容。
OpenAI · 部署安全与系统卡精选AI 评分6767 OpenAI 发布 GPT-6.1 Terra，系统卡补编披露安全定级与评测结果
OpenAI 发布 GPT-6 系列最新模型 GPT-6.1 Terra，定位高速高效、面向高频专业工作，具备较强的图像分析和 computer use 能力。
推荐理由：系统卡补编逐项给出与历代模型的安全评测对比，读者能看到新模型在智能体越界和心理健康等维度的进步与回退。
InterconnectsAI 评分6262 Interconnects 播客谈 Kimi K3.1 Pro 反响分化、开放权重网络安全与 Muse 体验
Nathan Lambert 与 Florian Brand 在 Interconnects 播客中讨论 Kimi K3.1 Pro 基准亮眼却社区反响分化的原因，并评估开放权重模型与网络安全的新格局。
Redwood Research · Blog精选AI 评分7070 Redwood Research 与 METR 公开对 OpenAI 内部智能体监控系统的红队测试结果
Redwood Research 与 METR 的员工于 7 月 21 日至 8 月 11 日对 OpenAI 内部未对齐监控系统开展了三周高权限红队测试，产出 61 页内部报告并发布公开版。
推荐理由：这份报告把外部深度红队测试发现的监控缺口和一组监控设计原则一并公开，搭建智能体安全监控时可作参考。
Gary Marcus · The Road to AI We Can TrustAI 评分6060 美国银行遭 AI 智能体冲击，Gary Marcus 称监管不应只聚焦前沿模型
Gary Marcus 撰文称，据 Axios 报道，美国银行正受到 AI 智能体冲击，银行业高管争相限制系统访问。他列举 10 月 11 日法国制冷系统袭击（疑似与智能体有关）、日本持续的网络安全攻击浪潮，以及拉丁美洲黑客组织 Cybercartel 对智能体的恶意使用，主张即使停止前沿模型开发，现有模型被滥用仍会造成严重问题。
METR 博客AI 评分7272 METR 红队测试 OpenAI 内部智能体监控系统
METR 与 Redwood Research 员工于 7 月 21 日至 8 月 11 日对 OpenAI 内部失对齐监控系统做高权限红队测试，发现多个新颖漏洞。
Amazon ScienceAI 评分4141 Amazon 通过 AVERI 第三方独立评审强化 AI 安全评估
Amazon 与独立非营利机构 AVERI 合作，对内部 AI 安全评估数据集开展第三方独立评审，检验评估本身的质量而非仅测模型输出。评审确认风险类别覆盖全面、测试方式多样、预训练污染风险低，并建议扩充多语言覆盖、增加多步对抗性提示词。Amazon 已据此更新测试集、引入分级难度框架、建立季度评审机制，并将多语言提示词扩展至所有风险类别。
OpenAI · 失准报告与通报AI 评分4444 OpenAI 提出 g-mean² 之外的可监控性补充指标
OpenAI 提出 g-mean² 之外的两个可监控性补充指标。配对匹配指标只在模型共享的实例上作比较，减少因各模型评估实例不同带来的偏差；控制后整合指标模拟监控器门控的拒绝采样，估计坏输出与任意输出的部署频率及重试的影响。对干预型评估还推导出 g-mean² 下界，与原上界并报，显式化因果归因的不确定性。
METR 博客AI 评分7373 METR 发布对 Anthropic 2026 年 8 月风险报告错位风险章节的独立评审
METR 发布对 Anthropic 2026 年 8 月风险报告中高风险场景错位风险章节的独立评审，认同截至 2026 年 7 月 15 日所覆盖模型（含 Mythos 5 和内部模型 Model 2）的灾难性错位风险为低，但认为这主要因模型能力有限，而非防护和对齐训练有效。
OpenAI · 部署安全与系统卡AI 评分5555 OpenAI 发布 GPT-Live-1.1 与 GPT-Live-1.1 Quip 语音模型系统卡
OpenAI 发布 GPT-Live-1.1 和 GPT-Live-1.1 Quip 系统卡，两者为全双工语音模型，分别是 GPT-Live-1 与 GPT-Live-1 mini 的后续版本，前者为 Plus 及更高档位用户（含 Codex 和 Dots）的默认语音模型。
Timothy B. Lee · Understanding AIAI 评分6262 OpenAI 解雇三名安全研究员背后的讽刺可信度问题
10 月初 OpenAI 解雇安全部门三名员工，三人公开表示被解雇与他们推动保留思维链可监控性、与 METR 等第三方机构沟通的工作有关，OpenAI 则称调查确认他们违规处理敏感信息。
METR 博客AI 评分4545 METR 说明其与 AI 公司合作评估风险的方式
METR 于 10 月 14 日发布博文，阐明其与 AI 公司合作开展风险评估时的目标、方法与实践。其核心目标是为公众提供关于 AI 失控风险的准确、及时、独立的证据，而非替企业决定如何开发或部署。措施包括公开披露工作范围、访问限制与删节情况、利益冲突政策，以及保障财务独立和数据安全，并承诺发布可迭代的评估报告以便外部专家自行验证。
METR 博客AI 评分4747 METR 探讨评估方如何调查内部 AI 智能体的控制与监控
METR 探讨评估方如何收集证据检验内部 AI 智能体监控的可靠性，目前开发者主要依赖基于 LLM 的监控捕捉潜在有害行为。评估围绕五个核心子问题展开：监控覆盖率、监控系统漏洞、绕过监控、含人工审查的响应，以及最坏未被发现的不当行为影响。估算覆盖率需访问推理日志与监控日志并访谈员工，监控系统漏洞则靠红队测试排查。
Google DeepMindAI 评分4949 Google DeepMind 与新加坡政府合作打造诈骗检测微调 AI 模型
Google DeepMind 与新加坡政府科技局（GovTech Singapore）合作，基于轻量级 Gemma 模型微调出保护隐私的端侧诈骗检测模型。模型在设备上本地运行，新加坡政府和 Google 均无法借此访问用户对话。该局已在 STACK 2026 上为新加坡 Android 用户推出 Anti-Scam Pango 应用开放测试版。
Johann Rehberger / Embrace The RedAI 评分7373 Visual Studio Copilot 与 SSMS 远程代码执行漏洞（CVE-2026-103572）
安全研究员 Johann Rehberger 披露 Visual Studio Copilot 与 SQL Server Management Studio（SSMS）的远程代码执行漏洞 CVE-2026-103572，Microsoft 将其定级为 Important 级（CVSS 8.8）并已随 Patch Tuesday 发布修复补丁。
Epoch AI · Gradient UpdatesAI 评分6565 AI 能否自动化 AI 研发？Epoch AI 评测显示前沿模型仅达 SDPO 提升的 15%
Epoch AI 在 InnovationEval 评测中让 GPT-5.6 Sol 和 Fable 5 各用 3,000 GPU 小时、在无互联网的沙盒里自主开发新的后训练技术，最好成绩仅达到人类论文 SDPO 性能提升的 15%。
Partnership on AIAI 评分5454 Partnership on AI 成立 AI 与心理健康工作组，制定聊天机器人自杀风险应对指南
Partnership on AI（PAI）于 10 月 8 日、世界心理健康日前宣布成立 AI 与心理健康工作组，成员涵盖 AI 从业者、心理健康与自杀预防组织、危机支持服务、临床医生、学术研究者及有相关亲历经历的人，将制定面向 AI 行业的公开指南并持续报告进展。
OpenAI · 部署安全与系统卡精选AI 评分8787 OpenAI 向 ChatGPT 全球免费与付费用户发布 GPT-6 Sol 与 GPT-6 Luna
OpenAI 将 GPT-6 Sol 和 GPT-6 Luna 推向 ChatGPT 全球免费与付费用户，替代 GPT-5.6 Sol 和 GPT-5.6 Luna，Codex 与 ChatGPT Work 暂仍使用 9 月版本。
推荐理由：系统卡在报告越狱抵抗与事实性提升之外，也公开了自伤等安全指标相较 GPT-5.6 的回退及缓解措施。
OpenAI · 部署安全与系统卡精选AI 评分7777 OpenAI 发布 GPT-6.1 Sol，网络安全能力定为 Critical、生物化学定为 High
OpenAI 发布 GPT-6 系列最新模型家族 GPT-6.1 Sol，称其能力接近最强模型 GPT-6 Astra，同时组合了更快的速度与更低的价格，并在系统卡补编中公布安全基线与评测结果。
推荐理由：官方补编给出该模型的 Preparedness 分级与各安全评测数据，可与 GPT-6 Astra、GPT-6 Sol 逐项对照能力与风险。
OpenClaw · Blog精选AI 评分6161 OpenClaw 完成 Trail of Bits 安全审计，23 个确认漏洞已全部修复
OpenClaw 通过 OpenAI 的 Patch the Planet 计划完成 Trail of Bits 安全审计并公布结果，27 份私有仓库安全公告中 24 份获严重性评级，23 个确认为漏洞，等级为 0 Critical、2 High、16 Medium、6 Low。
推荐理由：原文披露审计漏洞的严重性分布和四类权限修复原则，对做 Agent 安全的团队有可借鉴的思路。
Dwarkesh Patel · Podcast & BlogAI 评分6969 OpenAI 研究员 Noam Brown 谈智能体集群、对齐与递归自我改进
Dwarkesh Patel 在播客中与 OpenAI 研究员 Noam Brown 对谈多智能体系统、数学进展对递归自我改进的启示及对齐问题。Brown 称上周用 10,000 个智能体耗 130 billion tokens、88 小时求解千禧年大奖问题 Navier-Stokes，但多智能体功劳不到 10%，核心是很强的通用模型。
Ahead of AIAI 评分7474 Sebastian Raschka 解析 GPT-6 Astra 实测表现与 looped transformer 隐藏思维链传闻
Sebastian Raschka 评测上周发布的 GPT-6 Astra，认为它可能是其迄今用过的最强模型，图形渲染与电脑操作能力尤其突出，ARC-AGI-3 达 99.9%（GPT-5.6 Sol 仅 7.8%）。
Partnership on AIAI 评分4545 联合国全球 AI 治理对话 Cluster 3 共同主席发出安全可信 AI 行动呼吁
Costa Rica 部长 Paula Bogantes Zamora 与 Partnership on AI CEO Rebecca Finlay 在联大前联名致信联合国全球 AI 治理对话共同主席，提出 2027 年 5 月纽约会议前的五项行动步骤。
Johann Rehberger / Embrace The Red精选AI 评分8484 安全研究者实测攻破 Claude Code Opus 5 的 Auto Mode，攻击成功率 60-80%
安全研究者 Johann Rehberger 实测用一条网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode 并实现代码执行，小样本下攻击成功率 60-80%，而 Auto Mode 自 8 月中旬起已是 Claude Code 默认模式。
推荐理由：作者用完整攻击链实测 Auto Mode 的提示词注入风险，读者可对照评测中的 0.00% 理解沙箱与监控为何不可省。
EleutherAI Research BlogAI 评分5757 EleutherAI 复盘 Aletheia's Quest AI 谎言检测竞赛：黑盒方法意外强劲，白盒探针高度依赖场景
EleutherAI 复盘其在 Cadenza Labs 与 NDIF 主办的 Aletheia's Quest 谎言检测竞赛中四周的研究经验，竞赛有 19 支队伍参赛。
Johann Rehberger / Embrace The RedAI 评分7272 安全研究者实测重放攻击，跨账号还原 OpenAI GPT-5.6 加密推理轨迹
安全研究者 Johann Rehberger 复现论文提出的重放攻击，把 GPT-5.6 Sol 生成的加密推理轨迹经 chatgpt.com/backend-api/codex/responses 重放给 GPT-5.6 Luna 并诱导其转写，在跨会话、跨模型乃至跨账号的情况下都能还原推理内容。
Johann Rehberger / Embrace The RedAI 评分7373 红队视角解析如何劫持 LiteLLM 网关拦截流量、窃取密钥并注入工具调用
安全研究员 Johann Rehberger 发布研究，演示仅凭 LiteLLM 代理管理凭证即可调用 /model/update 把 api_base 指向攻击者网关并开启 use_litellm_proxy，将全部 LLM 流量重路由后捕获网关解析出的后端厂商密钥。
Thinking Machines Lab · News精选AI 评分7070 Thinking Machines Lab 提出 open-weight 模型的安全开放路径框架
Thinking Machines Lab 发布框架文章，论证开源权重模型的安全开放取决于模型本身与其所处生态两方面。文中说明其 Inkling 和 Inkling-Small 经内部评测、四家外部红队测试和对抗微调研究后，判断发布不会带来超出既有开源权重模型的实质性增量风险。
推荐理由：Thinking Machines 提出分阶段安全开放权重的框架，结合自家 Inkling 评测过程说明证据如何驱动逐步开放。
Johann Rehberger / Embrace The RedAI 评分7474 通过 PipeWire 实现 Linux 沙箱逃逸（CVE-2026-5674）
安全研究者 Johann Rehberger 披露 PipeWire 漏洞 CVE-2026-5674，仅有音频权限的 Flatpak 应用可借此逃逸沙箱并以用户身份执行任意代码。
OpenAI · 失准报告与通报精选AI 评分7474 OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向
OpenAI 与 Apollo Research 提出 Contrastive SDF 方法，用两份被灌输相反评分者信念的微调副本，量化模型行为对评分者偏好的因果敏感度。
推荐理由：原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法，并显示该倾向随强化学习训练增强。
Johann Rehberger / Embrace The Red精选AI 评分8181 Hugging Face 遭自主 AI 智能体入侵的教训与防守启示
Hugging Face 披露一起由自主 AI 智能体端到端驱动的入侵事件，作者 Johann Rehberger 由此分析防守方的应对教训。入侵始于恶意数据集和两条代码执行路径，智能体获得节点级访问后窃取云与集群凭据并横向移动，留下超过 17,000 条行动记录，最早由基于 LLM 的异常检测管道发现。
推荐理由：商用模型安全护栏可能在事件响应中阻断取证分析，作者建议防守方在事前就准备可本地部署的开源权重模型作为独立兜底。
Johann Rehberger / Embrace The RedAI 评分6868 macOS Terminal ANSI 转义码 DNS 外泄漏洞已被 Apple 修复
作者报告的 macOS Terminal 漏洞在 macOS Tahoe 26.1 中被 Apple 修复，该漏洞曾允许通过 ANSI 转义码触发 DNS 请求外泄数据。
Thinking Machines Lab · NewsAI 评分5555 Thinking Machines 发文阐述以人为本的 AI 发展愿景
Thinking Machines Lab 发文阐述其使命与技术路线，主张构建能延伸人类意志与判断的 AI。文中批评现有模型大多在少数机构训练后即被冻结，并提出训练强模型、让用户定制模型权重、押注在模型内部原生支持实时多模态交互的交互模型、公开发布研究四个方向。文章还主张把价值观编码进模型权重以实现分散对齐，并认为 METR 的任务完成时长基准只衡量 AI 自主能力，而非人与机器协作的成果。
Answer.AI 官方研发博客AI 评分5252 fast.ai 联合创始人 Rachel Thomas 谈 AI 在生命科学中的风险与局限
fast.ai 联合创始人、Answer.AI 的 Rachel Thomas 在与 KAMI Think Tank 的访谈中指出，AI 在生命科学中的炒作常超前于实际科学理解，数据的类型与质量决定结果上限。