跳到正文
今天11月8日周日3 条
11月7日周六
  1. The Verge · AI66

    METR 报告称 Anthropic 用 AI 自动化研发使模型改进速度约为一年前的两倍,为何令研究人员担忧

    AI 安全研究机构 METR 周四发布报告,称 Anthropic 正在用 AI 构建更强大的 AI,其模型改进速度约为一年前的两倍,且几乎没有放缓迹象。该结论基于 METR 在 Anthropic 内部为期 11 周的调查,属于对其 AI 研发评估的一部分;这项调查与夏季多起高调黑客事件后向安全研究者提供“员工式”系统访问权限的计划相互独立。

11月6日周五
  1. The Decoder77

    METR 审计发现 Anthropic 可能已于 7 月越过自身 AI 加速预警阈值

    非营利机构 METR 基于 11 周的 Anthropic 内部数据发布审计结果,发现 Anthropic 模型改进速度约翻倍,约 80% 的加速来自 AI 参与自身研究,可能早在 7 月 15 日就越过其负责任扩展政策的预警水平。

    推荐理由:文章同时给出加速倍数的不确定区间和关键证据遭单方删改的情况,读者可据此权衡这份审计结论的可信度。

  2. Alignment Forum76

    METR 独立评估 Anthropic AI 研发加速:模型能力提升速度约为历史 2 倍

    METR 于 2026 年 8 月 12 日至 10 月 29 日在 Anthropic 开展高权限独立评估,估计截至 2026 年 10 月其模型在明确任务上的能力提升速度约为 2024 年 3 月至 2025 年 10 月期间的 2 倍,多数加速可能来自 Anthropic 大量使用 AI 开展研发。

    推荐理由:评估基于 Anthropic 提供的内部研发数据,对 AI 加速 AI 研发的程度给出带不确定性区间的量化估计。

11月5日周四
  1. METR 博客77

    METR 发布 Anthropic AI 研发加速独立评估,估算能力增速约翻倍

    METR 于 2026 年 8 月 12 日至 10 月 29 日在 Anthropic 开展高权限评估,估算其模型能力进步速度较 2024 年 3 月至 2025 年 10 月约翻倍,且多数加速可能归因于用 AI 做研发。

    推荐理由:原文给出模型能力约两倍加速的估计与归因判断,并说明了哪些关键证据被删减,读者可据此权衡结论的可信度。

11月4日周三
11月3日周二
  1. Ai2 / Allen Institute for AI50

    StateBench:测试语言模型如何追踪长文档中的状态变化

    Ai2 推出 StateBench 基准,以四个难度层级测试语言模型追踪长文档状态变化的能力。在这些任务上直接训练时,带 Gated DeltaNet 层的循环与混合架构泛化远超 Transformer。Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 等前沿模型随输入变长,仍在更难的状态追踪任务上失效。

11月2日周一
10月27日周二
  1. Ai2 / Allen Institute for AI64

    Ai2 发布研究检验大模型能否可靠判断科研想法新颖性

    Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程,结论是当前大模型判断科研想法新颖性远非可靠,在 AI 生成想法上尤其脆弱。

    推荐理由:同一组研究想法会因提示词措辞微调得到相反结论,原文还给出比专用评估系统更准且更便宜的简单基线供复用。

10月26日周一
10月24日周六
10月20日周二
10月6日周二
9月22日周二
  1. EleutherAI Research Blog47

    探究自然语言自编码器的稳定性

    EleutherAI 探究了自然语言自编码器(NLA)的稳定性:独立训练的 NLA 解释可互相迁移,重构损失增幅小于改写。GCG 优化将 Gemma-3-12B-IT 的 FVE 从 72.1% 提到 81.4%,但解释变得更难读且 passage support 未提升,说明重构不等于忠实。结构化编辑解释可将模型输出导向指定目标答案。

8月27日周四
  1. Johann Rehberger / Embrace The Red84

    安全研究者实测攻破 Claude Code Opus 5 的 Auto Mode,攻击成功率 60-80%

    安全研究者 Johann Rehberger 实测用一条网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode 并实现代码执行,小样本下攻击成功率 60-80%,而 Auto Mode 自 8 月中旬起已是 Claude Code 默认模式。

    推荐理由:作者用完整攻击链实测 Auto Mode 的提示词注入风险,读者可对照评测中的 0.00% 理解沙箱与监控为何不可省。

6月17日周三
  1. OpenAI · 失准报告与通报64

    OpenAI 验证 WildChat 公开聊天数据能否预测模型真实失准率

    OpenAI 用内部生产数据验证,基于公开数据集 WildChat 的对话前缀重采样生成模型回复,能较准确预测 GPT 系列模型在线上真实使用中的失准行为发生率。

    推荐理由:OpenAI 用内部生产数据验证了公开聊天数据能预测模型线上失准率,同时指出它在智能体场景下误差明显更大。

5月1日周五
  1. ARC Prize · 官方博客71

    ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的三种推理失败模式

    ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹,归纳出三种失败模式并开源分析包,两者在半私有数据集上得分分别为 0.43% 和 0.18%。

    推荐理由:ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同,比总分更能说明两者推理差异。

2月17日周二
  1. Answer.AI 官方研发博客70

    Answer.AI 披露未授权工具调用问题,Claude 等模型可调用未被授予的工具且 API 不拦截

    Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题,模型会幻觉出未被授予的工具并发起调用,API 不校验工具名,只要函数存在于运行环境中调用就会真正执行,他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记,并复现于 claude-opus-4-6、Gemini 和 Grok。

    推荐理由:作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截,做能力隔离的 Agent 系统可以据此检查校验逻辑。