跳到正文
10月29日周四
  1. OpenAI · 部署安全与系统卡60

    OpenAI 发布 GPT-6 Luna 更新版系统卡,模型回复更简洁并减少过度附和

    OpenAI 在 ChatGPT 中更新 GPT-6 Luna,新版 GPT-6 Luna(10月29日)回复更简洁并减少过度附和语言,沿用 10月7日版本的防护栈与数据训练方式。

    推荐理由:更新版让回复更简洁并减少过度附和,但六项事实性指标错误率均较10月7日版上升,可对照权衡取舍。

10月28日周三
  1. Pydantic AI 官方文章70

    Pydantic AI 发布5276次运行的基准,验证code mode让长任务成本降58%、时间降51%

    Pydantic AI 作者自建基准,用5个小型CRUD应用、8个模型、5276次评分运行对比开关code mode的效果。长任务上8个模型平均成本降58%、墙钟时间降51%,成功率高16个百分点;200条任务时无code mode成功率从92-100%滑到62-79%,开启后保持92-100%。

    推荐理由:原文用5276次受控运行量化code mode在长短任务上的成本与正确率变化,还诚实列出小任务税收等代价,结论可直接迁移到自己的Agent设计。

  2. goose 官方博客63

    goose 对比实测五种开源编码 harness,同一模型下通过率相近而成本最多相差 75%

    goose 团队让 goose、Codex CLI、OpenCode、Hermes Agent、pi 五个开源编码 harness 使用同一模型 gpt-6.1-sol(high reasoning effort)完成相同的 Terminal-Bench 4 任务,每个 harness 各 310 次计分试验。

    推荐理由:同一模型下各 harness 通过率无显著差异而成本最多相差 75%,为编码 Agent 选型提供了实测成本参照。

10月27日周二
  1. Ai2 / Allen Institute for AI64

    Ai2 发布研究检验大模型能否可靠判断科研想法新颖性

    Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程,结论是当前大模型判断科研想法新颖性远非可靠,在 AI 生成想法上尤其脆弱。

    推荐理由:同一组研究想法会因提示词措辞微调得到相反结论,原文还给出比专用评估系统更准且更便宜的简单基线供复用。

10月26日周一
  1. OpenAI · 部署安全与系统卡67

    OpenAI 发布 GPT-6.1 Terra,系统卡补编披露安全定级与评测结果

    OpenAI 发布 GPT-6 系列最新模型 GPT-6.1 Terra,定位高速高效、面向高频专业工作,具备较强的图像分析和 computer use 能力。

    推荐理由:系统卡补编逐项给出与历代模型的安全评测对比,读者能看到新模型在智能体越界和心理健康等维度的进步与回退。

10月24日周六
10月22日周四
10月20日周二
10月12日周一
10月10日周六
10月7日周三
  1. OpenAI · 部署安全与系统卡87

    OpenAI 向 ChatGPT 全球免费与付费用户发布 GPT-6 Sol 与 GPT-6 Luna

    OpenAI 将 GPT-6 Sol 和 GPT-6 Luna 推向 ChatGPT 全球免费与付费用户,替代 GPT-5.6 Sol 和 GPT-5.6 Luna,Codex 与 ChatGPT Work 暂仍使用 9 月版本。

    推荐理由:系统卡在报告越狱抵抗与事实性提升之外,也公开了自伤等安全指标相较 GPT-5.6 的回退及缓解措施。

10月5日周一
9月24日周四
9月9日周三
9月3日周四
  1. ARC Prize · 官方博客78

    OpenAI GPT-6 Astra 在 ARC-AGI-3 上取得 99.9% 并超越人类动作效率

    ARC Prize 发布 GPT-6 Astra 在 ARC-AGI-3 Semi-Private 上的评测结果:Standard harness 下得分 62.7%、花费 $26K,Provider Adapter harness 下得分 99.9%、花费 $19K,均为当前最高分。

    推荐理由:ARC Prize 亲自实测并公开成本、动作效率与两种 harness 的差异,读者可据此了解 Astra 在 ARC-AGI-3 上的真实表现边界。

8月15日周六
  1. Augment Code 博客62

    Augment Code 重构 Auggie CLI harness,任务成本比 Claude Code 低 53%

    Augment Code 从零重构了 Auggie CLI 的 harness,在 SWE-bench Pro 同等通过率下单任务成本 $1.27,比 Claude Code 的 $2.70 低 53%,比旧版 v1 也再降一档。

    推荐理由:原文把降本归因于工具面收缩、检索替代探索和主动压缩三个做法,做 Agent 工程的读者可以对照自查自己的 token 成本。

7月8日周三
5月4日周一
5月1日周五
  1. ARC Prize · 官方博客71

    ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的三种推理失败模式

    ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹,归纳出三种失败模式并开源分析包,两者在半私有数据集上得分分别为 0.43% 和 0.18%。

    推荐理由:ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同,比总分更能说明两者推理差异。

4月14日周二
3月25日周三
  1. ARC Prize · 官方博客70

    ARC Prize 发布 ARC-AGI-3 交互式基准,ARC Prize 2026 奖金超 200 万美元

    ARC Prize 发布 ARC-AGI-3,这是 ARC-AGI 系列首个完全交互式基准,由数百个人类游戏设计师手工打造的回合制环境和数千个游戏式关卡组成,不提供任何说明、规则或目标,要求智能体自主探索玩法并将经验带入越来越难的关卡。

    推荐理由:人类得分 100% 而前沿 AI 仅 0.51%,这组对比数字直观呈现了智能体自主探索能力的缺口。

1月27日周二
2025年12月12日周五
2025年12月5日周五
  1. ARC Prize · 官方博客72

    ARC Prize 2025 结果公布,ARC-AGI-3 将于 2026 年初转向交互推理

    ARC Prize 2025 揭晓成绩:NVARC 以 24.03% 夺得 Kaggle 冠军,1,455 支队伍提交 15,154 份方案,90 篇论文参赛且所有获奖方案与论文均开源。

    推荐理由:官方复盘给出 ARC-AGI-2 最新成绩与 refinement loop 分析,并预告 ARC-AGI-3 将转向交互推理评测,读者可据此理解推理系统的进展与基准设计的局限。