跳到正文
>hotmap_
只看论文#Anthropic
  1. The Decoder77

    METR 审计发现 Anthropic 可能已于 7 月越过自身 AI 加速预警阈值

    非营利机构 METR 基于 11 周的 Anthropic 内部数据发布审计结果，发现 Anthropic 模型改进速度约翻倍，约 80% 的加速来自 AI 参与自身研究，可能早在 7 月 15 日就越过其负责任扩展政策的预警水平。

    推荐理由：文章同时给出加速倍数的不确定区间和关键证据遭单方删改的情况，读者可据此权衡这份审计结论的可信度。

  2. Alignment Forum76

    METR 独立评估 Anthropic AI 研发加速：模型能力提升速度约为历史 2 倍

    METR 于 2026 年 8 月 12 日至 10 月 29 日在 Anthropic 开展高权限独立评估，估计截至 2026 年 10 月其模型在明确任务上的能力提升速度约为 2024 年 3 月至 2025 年 10 月期间的 2 倍，多数加速可能来自 Anthropic 大量使用 AI 开展研发。

    推荐理由：评估基于 Anthropic 提供的内部研发数据，对 AI 加速 AI 研发的程度给出带不确定性区间的量化估计。

  1. METR 博客77

    METR 发布 Anthropic AI 研发加速独立评估，估算能力增速约翻倍

    METR 于 2026 年 8 月 12 日至 10 月 29 日在 Anthropic 开展高权限评估，估算其模型能力进步速度较 2024 年 3 月至 2025 年 10 月约翻倍，且多数加速可能归因于用 AI 做研发。

    推荐理由：原文给出模型能力约两倍加速的估计与归因判断，并说明了哪些关键证据被删减，读者可据此权衡结论的可信度。

  1. Ai2 / Allen Institute for AI64

    Ai2 发布研究检验大模型能否可靠判断科研想法新颖性

    Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程，结论是当前大模型判断科研想法新颖性远非可靠，在 AI 生成想法上尤其脆弱。

    推荐理由：同一组研究想法会因提示词措辞微调得到相反结论，原文还给出比专用评估系统更准且更便宜的简单基线供复用。

  2. Browser Use62

    卡内基梅隆大学与 Browser Use 发布长程网页智能体基准 Odysseys2

    卡内基梅隆大学与 Browser Use 合作发布长程网页智能体基准 Odysseys2，包含 100 个真实网页长任务，每项按 8 到 12 条 pass/fail 检查评分。

    推荐理由：同一模型在不同 harness 和评分器下成绩差距明显，正文用数据说明读 agent 榜单时要把这些变量一并考虑。

  1. Johann Rehberger / Embrace The Red84

    安全研究者实测攻破 Claude Code Opus 5 的 Auto Mode，攻击成功率 60-80%

    安全研究者 Johann Rehberger 实测用一条网站摘要请求劫持 Claude Code Opus 5 的 Auto Mode 并实现代码执行，小样本下攻击成功率 60-80%，而 Auto Mode 自 8 月中旬起已是 Claude Code 默认模式。

    推荐理由：作者用完整攻击链实测 Auto Mode 的提示词注入风险，读者可对照评测中的 0.00% 理解沙箱与监控为何不可省。

  1. OpenAI · 失准报告与通报64

    OpenAI 验证 WildChat 公开聊天数据能否预测模型真实失准率

    OpenAI 用内部生产数据验证，基于公开数据集 WildChat 的对话前缀重采样生成模型回复，能较准确预测 GPT 系列模型在线上真实使用中的失准行为发生率。

    推荐理由：OpenAI 用内部生产数据验证了公开聊天数据能预测模型线上失准率，同时指出它在智能体场景下误差明显更大。

  1. ARC Prize · 官方博客71

    ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的三种推理失败模式

    ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹，归纳出三种失败模式并开源分析包，两者在半私有数据集上得分分别为 0.43% 和 0.18%。

    推荐理由：ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同，比总分更能说明两者推理差异。

  1. Answer.AI 官方研发博客70

    Answer.AI 披露未授权工具调用问题，Claude 等模型可调用未被授予的工具且 API 不拦截

    Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题，模型会幻觉出未被授予的工具并发起调用，API 不校验工具名，只要函数存在于运行环境中调用就会真正执行，他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记，并复现于 claude-opus-4-6、Gemini 和 Grok。

    推荐理由：作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截，做能力隔离的 Agent 系统可以据此检查校验逻辑。

已经到底了