跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

27 条精选近 30 天 18 条共收录 101 条

更新

精选归档 · 第 2 页

9月21日周一第 21–27 条
  1. OpenClaw · Blog61

    OpenClaw 完成 Trail of Bits 安全审计,23 个确认漏洞已全部修复

    OpenClaw 通过 OpenAI 的 Patch the Planet 计划完成 Trail of Bits 安全审计并公布结果,27 份私有仓库安全公告中 24 份获严重性评级,23 个确认为漏洞,等级为 0 Critical、2 High、16 Medium、6 Low。

    推荐理由:原文披露审计漏洞的严重性分布和四类权限修复原则,对做 Agent 安全的团队有可借鉴的思路。

8月27日周四
  1. Johann Rehberger / Embrace The Red84

    安全研究者实测攻破 Claude Code Opus 5 的 Auto Mode,攻击成功率 60-80%

    安全研究者 Johann Rehberger 实测用一条网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode 并实现代码执行,小样本下攻击成功率 60-80%,而 Auto Mode 自 8 月中旬起已是 Claude Code 默认模式。

    推荐理由:作者用完整攻击链实测 Auto Mode 的提示词注入风险,读者可对照评测中的 0.00% 理解沙箱与监控为何不可省。

7月31日周五
  1. Thinking Machines Lab · News70

    Thinking Machines Lab 提出 open-weight 模型的安全开放路径框架

    Thinking Machines Lab 发布框架文章,论证开源权重模型的安全开放取决于模型本身与其所处生态两方面。文中说明其 Inkling 和 Inkling-Small 经内部评测、四家外部红队测试和对抗微调研究后,判断发布不会带来超出既有开源权重模型的实质性增量风险。

    推荐理由:Thinking Machines 提出分阶段安全开放权重的框架,结合自家 Inkling 评测过程说明证据如何驱动逐步开放。

7月21日周二
  1. OpenAI · 失准报告与通报74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。

    推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。

7月20日周一
  1. Johann Rehberger / Embrace The Red81

    Hugging Face 遭自主 AI 智能体入侵的教训与防守启示

    Hugging Face 披露一起由自主 AI 智能体端到端驱动的入侵事件,作者 Johann Rehberger 由此分析防守方的应对教训。入侵始于恶意数据集和两条代码执行路径,智能体获得节点级访问后窃取云与集群凭据并横向移动,留下超过 17,000 条行动记录,最早由基于 LLM 的异常检测管道发现。

    推荐理由:商用模型安全护栏可能在事件响应中阻断取证分析,作者建议防守方在事前就准备可本地部署的开源权重模型作为独立兜底。

3月1日周日
  1. Answer.AI 官方研发博客67

    Answer.AI 分析 OpenAI 与美国战争部合同能否冻结自主武器法律

    Answer.AI 创始人 Jeremy Howard 与 Virgil Law 联合创始人 Luke Versweyveld 撰文分析 OpenAI 与美国战争部合同的公开措辞,认为它无法把签约时的自主武器法律标准冻结为长期约束。

    推荐理由:作者逐条拆解合同措辞并援引 150 年最高法院判例,解释为何合同无法锁定签约时的法律标准,为评估 OpenAI 声明的约束力提供法律背景。

2月17日周二
  1. Answer.AI 官方研发博客70

    Answer.AI 披露未授权工具调用问题,Claude 等模型可调用未被授予的工具且 API 不拦截

    Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题,模型会幻觉出未被授予的工具并发起调用,API 不校验工具名,只要函数存在于运行环境中调用就会真正执行,他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记,并复现于 claude-opus-4-6、Gemini 和 Grok。

    推荐理由:作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截,做能力隔离的 Agent 系统可以据此检查校验逻辑。