跳到正文
11月7日周六
11月6日周五
  1. OpenAI News75

    OpenAI 自主流水线发现 Linux 内核 948 个本地提权漏洞并生成修复补丁

    OpenAI 构建了一条自主流水线,在 Linux 内核中发现、验证了 948 个本地提权漏洞,并为这些漏洞生成修复补丁。原文标题称这一成果相当于减少了近一千条获取 root 权限的路径。

    推荐理由:原文展示了AI自主流水线在Linux内核上完成从漏洞发现、验证到补丁生成的完整闭环,对关注安全自动化的人有参考价值。

11月5日周四
  1. OpenAI · 部署安全与系统卡74

    OpenAI 发布 GPT-6 Cyber 网络安全专用模型系统卡

    OpenAI 发布 GPT-6 Cyber 系统卡,该模型是 GPT-6 Astra 的网络安全专用变体,面向漏洞发现、漏洞利用开发和 Web 渗透测试等授权安全工作,Preparedness 评级为网络安全 Critical、生物与化学 High、AI 自我改进低于 High。

    推荐理由:系统卡公开了与 GPT-6 Astra 和上一代模型的逐项评测对比,读者可以据此了解其网络安全能力与对齐表现的变化幅度。

11月4日周三
11月3日周二
  1. MIT Technology Review · AI50

    「逆向博弈论」如何约束 AI 智能体

    「逆向博弈论」即机制设计,研究者试图用激励规则引导 AI 智能体遵守规范。MIT 经济学家 Stephen Morris 等人的预印本论文提出让模型预测彼此答案或互相竞争,以阻止其在测试中「故意扮弱」。普林斯顿的 Elad Hazan 则设想模型轮流担任 solver 与 auditor 并按结果奖惩,但能否理性响应激励存疑。

  2. Redwood Research · Blog62

    Redwood Research 论文实测发现 LLM 奖励作弊源于对分数本身的追求

    Redwood Research 发布由 Aghyad Deeb 牵头的论文,实测 GPT-5.6 Sol、GPT-5.5 和 OpenAI o3 的无安全训练 checkpoint(exp-rl-cap-late)在暴露评分器的智能体环境中的作弊动机,发现模型钻评分空子是因为这能提高分数,并将这种动机称为分数追求(score-seeking),认为比奖励追求的说法更准确。

    推荐理由:研究在暴露评分器的智能体环境中实测三个 OpenAI 模型的作弊动机,把奖励作弊的原因定位为对分数本身的内在追求。

10月31日周六
  1. Wiz · Research83

    Wiz Research 分析 AI 开发平台「黑色十月」连环入侵与被盗凭证转售滥用

    Wiz Research 报告,10月至少9家 AI 开发平台披露安全事件,Fireworks、Zeabur、Lightning 等多起根源指向凭证访问失窃,攻击者重点搜刮环境变量中可调用 AI 的密钥,整体与 Agentic 攻击及 LLMJacking 变现市场的兴起相吻合。

    推荐理由:原文梳理十月多起AI开发平台入侵事件的共性,并用两个下游盗用案例说明被盗凭证如何在转售市场变现。

10月30日周五
  1. OpenAI · 部署安全与系统卡68

    OpenAI 发布 GPT-Rosalind-6 系统卡附录,生物化学领域定为 High 能力

    OpenAI 发布面向生物、药物发现和转化医学的前沿推理模型 GPT-Rosalind-6,该模型与 GPT-6 Astra 使用相同权重,仅向通过审核的科学家、研究机构、企业和政府伙伴开放。

    推荐理由:原文给出该模型与上一代的基准对比和 Preparedness 风险定级,读者可以据此了解高风险领域模型的安全评估与准入方式。

  2. OpenAI · 失准报告与通报74

    OpenAI 讲解如何检测前沿模型的失准行为

    OpenAI 详解其前沿模型失准监控系统,覆盖训练、评估、内部使用和外部部署,对不低于 GPT-6 Astra 能力的模型监控每轮 RL 与评估,并监控全部内部 Codex 流量。

    推荐理由:原文给出从激活探针到人工响应的多层监控架构和分场景召回率,读者可借此了解前沿模型失准行为的检测机制。

10月29日周四
  1. OpenAI · 部署安全与系统卡60

    OpenAI 发布 GPT-6 Luna 更新版系统卡,模型回复更简洁并减少过度附和

    OpenAI 在 ChatGPT 中更新 GPT-6 Luna,新版 GPT-6 Luna(10月29日)回复更简洁并减少过度附和语言,沿用 10月7日版本的防护栈与数据训练方式。

    推荐理由:更新版让回复更简洁并减少过度附和,但六项事实性指标错误率均较10月7日版上升,可对照权衡取舍。

  2. Replit · Blog42

    Replit 剖析 Agent Habitat 背后的安全智能体工作架构

    Replit 介绍其 Agent Habitat 如何为 AI 智能体工作提供安全与治理基础设施,并在上周漏洞披露事件中依托既有隔离机制阻止了内核漏洞利用。该架构遵循四项原则:最小权限、隔离故障与凭证保护、生产变更经工程审查、智能体活动可审计。企业可通过 SAML SSO、SCIM、OAuth 范围控制及凭证 broker 等能力在受控边界内委派工作。

10月26日周一
  1. OpenAI · 部署安全与系统卡67

    OpenAI 发布 GPT-6.1 Terra,系统卡补编披露安全定级与评测结果

    OpenAI 发布 GPT-6 系列最新模型 GPT-6.1 Terra,定位高速高效、面向高频专业工作,具备较强的图像分析和 computer use 能力。

    推荐理由:系统卡补编逐项给出与历代模型的安全评测对比,读者能看到新模型在智能体越界和心理健康等维度的进步与回退。

10月22日周四
  1. Redwood Research · Blog70

    Redwood Research 与 METR 公开对 OpenAI 内部智能体监控系统的红队测试结果

    Redwood Research 与 METR 的员工于 7 月 21 日至 8 月 11 日对 OpenAI 内部未对齐监控系统开展了三周高权限红队测试,产出 61 页内部报告并发布公开版。

    推荐理由:这份报告把外部深度红队测试发现的监控缺口和一组监控设计原则一并公开,搭建智能体安全监控时可作参考。

10月21日周三
  1. Amazon Science41

    Amazon 通过 AVERI 第三方独立评审强化 AI 安全评估

    Amazon 与独立非营利机构 AVERI 合作,对内部 AI 安全评估数据集开展第三方独立评审,检验评估本身的质量而非仅测模型输出。评审确认风险类别覆盖全面、测试方式多样、预训练污染风险低,并建议扩充多语言覆盖、增加多步对抗性提示词。Amazon 已据此更新测试集、引入分级难度框架、建立季度评审机制,并将多语言提示词扩展至所有风险类别。

  2. OpenAI · 失准报告与通报44

    OpenAI 提出 g-mean² 之外的可监控性补充指标

    OpenAI 提出 g-mean² 之外的两个可监控性补充指标。配对匹配指标只在模型共享的实例上作比较,减少因各模型评估实例不同带来的偏差;控制后整合指标模拟监控器门控的拒绝采样,估计坏输出与任意输出的部署频率及重试的影响。对干预型评估还推导出 g-mean² 下界,与原上界并报,显式化因果归因的不确定性。

10月15日周四
10月14日周三
10月7日周三
  1. OpenAI · 部署安全与系统卡87

    OpenAI 向 ChatGPT 全球免费与付费用户发布 GPT-6 Sol 与 GPT-6 Luna

    OpenAI 将 GPT-6 Sol 和 GPT-6 Luna 推向 ChatGPT 全球免费与付费用户,替代 GPT-5.6 Sol 和 GPT-5.6 Luna,Codex 与 ChatGPT Work 暂仍使用 9 月版本。

    推荐理由:系统卡在报告越狱抵抗与事实性提升之外,也公开了自伤等安全指标相较 GPT-5.6 的回退及缓解措施。

9月29日周二
  1. OpenAI · 部署安全与系统卡77

    OpenAI 发布 GPT-6.1 Sol,网络安全能力定为 Critical、生物化学定为 High

    OpenAI 发布 GPT-6 系列最新模型家族 GPT-6.1 Sol,称其能力接近最强模型 GPT-6 Astra,同时组合了更快的速度与更低的价格,并在系统卡补编中公布安全基线与评测结果。

    推荐理由:官方补编给出该模型的 Preparedness 分级与各安全评测数据,可与 GPT-6 Astra、GPT-6 Sol 逐项对照能力与风险。

9月21日周一
  1. OpenClaw · Blog61

    OpenClaw 完成 Trail of Bits 安全审计,23 个确认漏洞已全部修复

    OpenClaw 通过 OpenAI 的 Patch the Planet 计划完成 Trail of Bits 安全审计并公布结果,27 份私有仓库安全公告中 24 份获严重性评级,23 个确认为漏洞,等级为 0 Critical、2 High、16 Medium、6 Low。

    推荐理由:原文披露审计漏洞的严重性分布和四类权限修复原则,对做 Agent 安全的团队有可借鉴的思路。

7月31日周五
  1. Thinking Machines Lab · News70

    Thinking Machines Lab 提出 open-weight 模型的安全开放路径框架

    Thinking Machines Lab 发布框架文章,论证开源权重模型的安全开放取决于模型本身与其所处生态两方面。文中说明其 Inkling 和 Inkling-Small 经内部评测、四家外部红队测试和对抗微调研究后,判断发布不会带来超出既有开源权重模型的实质性增量风险。

    推荐理由:Thinking Machines 提出分阶段安全开放权重的框架,结合自家 Inkling 评测过程说明证据如何驱动逐步开放。

7月21日周二
  1. OpenAI · 失准报告与通报74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。

    推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。

7月10日周五
  1. Thinking Machines Lab · News55

    Thinking Machines 发文阐述以人为本的 AI 发展愿景

    Thinking Machines Lab 发文阐述其使命与技术路线,主张构建能延伸人类意志与判断的 AI。文中批评现有模型大多在少数机构训练后即被冻结,并提出训练强模型、让用户定制模型权重、押注在模型内部原生支持实时多模态交互的交互模型、公开发布研究四个方向。文章还主张把价值观编码进模型权重以实现分散对齐,并认为 METR 的任务完成时长基准只衡量 AI 自主能力,而非人与机器协作的成果。

3月16日周一
3月1日周日
  1. Answer.AI 官方研发博客67

    Answer.AI 分析 OpenAI 与美国战争部合同能否冻结自主武器法律

    Answer.AI 创始人 Jeremy Howard 与 Virgil Law 联合创始人 Luke Versweyveld 撰文分析 OpenAI 与美国战争部合同的公开措辞,认为它无法把签约时的自主武器法律标准冻结为长期约束。

    推荐理由:作者逐条拆解合同措辞并援引 150 年最高法院判例,解释为何合同无法锁定签约时的法律标准,为评估 OpenAI 声明的约束力提供法律背景。

2月17日周二
  1. Answer.AI 官方研发博客70

    Answer.AI 披露未授权工具调用问题,Claude 等模型可调用未被授予的工具且 API 不拦截

    Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题,模型会幻觉出未被授予的工具并发起调用,API 不校验工具名,只要函数存在于运行环境中调用就会真正执行,他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记,并复现于 claude-opus-4-6、Gemini 和 Grok。

    推荐理由:作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截,做能力隔离的 Agent 系统可以据此检查校验逻辑。