跳到正文
  1. Alignment Forum76

    METR 独立评估 Anthropic AI 研发加速:模型能力提升速度约为历史 2 倍

    METR 于 2026 年 8 月 12 日至 10 月 29 日在 Anthropic 开展高权限独立评估,估计截至 2026 年 10 月其模型在明确任务上的能力提升速度约为 2024 年 3 月至 2025 年 10 月期间的 2 倍,多数加速可能来自 Anthropic 大量使用 AI 开展研发。

    推荐理由:评估基于 Anthropic 提供的内部研发数据,对 AI 加速 AI 研发的程度给出带不确定性区间的量化估计。

  1. goose 官方博客63

    goose 对比实测五种开源编码 harness,同一模型下通过率相近而成本最多相差 75%

    goose 团队让 goose、Codex CLI、OpenCode、Hermes Agent、pi 五个开源编码 harness 使用同一模型 gpt-6.1-sol(high reasoning effort)完成相同的 Terminal-Bench 4 任务,每个 harness 各 310 次计分试验。

    推荐理由:同一模型下各 harness 通过率无显著差异而成本最多相差 75%,为编码 Agent 选型提供了实测成本参照。

  1. Ai2 / Allen Institute for AI64

    Ai2 发布研究检验大模型能否可靠判断科研想法新颖性

    Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程,结论是当前大模型判断科研想法新颖性远非可靠,在 AI 生成想法上尤其脆弱。

    推荐理由:同一组研究想法会因提示词措辞微调得到相反结论,原文还给出比专用评估系统更准且更便宜的简单基线供复用。

  2. Browser Use62

    卡内基梅隆大学与 Browser Use 发布长程网页智能体基准 Odysseys2

    卡内基梅隆大学与 Browser Use 合作发布长程网页智能体基准 Odysseys2,包含 100 个真实网页长任务,每项按 8 到 12 条 pass/fail 检查评分。

    推荐理由:同一模型在不同 harness 和评分器下成绩差距明显,正文用数据说明读 agent 榜单时要把这些变量一并考虑。

  1. ARC Prize · 官方博客71

    ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的三种推理失败模式

    ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹,归纳出三种失败模式并开源分析包,两者在半私有数据集上得分分别为 0.43% 和 0.18%。

    推荐理由:ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同,比总分更能说明两者推理差异。

  1. ARC Prize · 官方博客70

    ARC Prize 发布 ARC-AGI-3 交互式基准,ARC Prize 2026 奖金超 200 万美元

    ARC Prize 发布 ARC-AGI-3,这是 ARC-AGI 系列首个完全交互式基准,由数百个人类游戏设计师手工打造的回合制环境和数千个游戏式关卡组成,不提供任何说明、规则或目标,要求智能体自主探索玩法并将经验带入越来越难的关卡。

    推荐理由:人类得分 100% 而前沿 AI 仅 0.51%,这组对比数字直观呈现了智能体自主探索能力的缺口。

  1. ARC Prize · 官方博客72

    ARC Prize 2025 结果公布,ARC-AGI-3 将于 2026 年初转向交互推理

    ARC Prize 2025 揭晓成绩:NVARC 以 24.03% 夺得 Kaggle 冠军,1,455 支队伍提交 15,154 份方案,90 篇论文参赛且所有获奖方案与论文均开源。

    推荐理由:官方复盘给出 ARC-AGI-2 最新成绩与 refinement loop 分析,并预告 ARC-AGI-3 将转向交互推理评测,读者可据此理解推理系统的进展与基准设计的局限。

已经到底了