跳到正文
11月7日周六
11月6日周五
11月5日周四
  1. OpenAI · 部署安全与系统卡74

    OpenAI 发布 GPT-6 Cyber 网络安全专用模型系统卡

    OpenAI 发布 GPT-6 Cyber 系统卡,该模型是 GPT-6 Astra 的网络安全专用变体,面向漏洞发现、漏洞利用开发和 Web 渗透测试等授权安全工作,Preparedness 评级为网络安全 Critical、生物与化学 High、AI 自我改进低于 High。

    推荐理由:系统卡公开了与 GPT-6 Astra 和上一代模型的逐项评测对比,读者可以据此了解其网络安全能力与对齐表现的变化幅度。

11月3日周二
  1. Ai2 / Allen Institute for AI50

    StateBench:测试语言模型如何追踪长文档中的状态变化

    Ai2 推出 StateBench 基准,以四个难度层级测试语言模型追踪长文档状态变化的能力。在这些任务上直接训练时,带 Gated DeltaNet 层的循环与混合架构泛化远超 Transformer。Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 等前沿模型随输入变长,仍在更难的状态追踪任务上失效。

11月2日周一
10月30日周五
  1. OpenRouter · Announcements74

    OpenRouter 实测对比 Claude Opus、Sonnet 与 Haiku 5.5,三档模型怎么选

    OpenRouter 实测对比 Anthropic 的 Claude Opus 5.5、Sonnet 5.5 与 Haiku 5.5 三档模型,建议默认用 Sonnet 5.5,高并发与子智能体任务用 Haiku 5.5,长而含糊、出错代价高的任务留给 Opus 5.5。

    推荐理由:OpenRouter 用带隐藏测试的编码任务和自跑基准对比 Claude 三档模型,在其测试任务上 Opus 不如价格减半的 Sonnet 划算。

  2. OpenAI · 部署安全与系统卡68

    OpenAI 发布 GPT-Rosalind-6 系统卡附录,生物化学领域定为 High 能力

    OpenAI 发布面向生物、药物发现和转化医学的前沿推理模型 GPT-Rosalind-6,该模型与 GPT-6 Astra 使用相同权重,仅向通过审核的科学家、研究机构、企业和政府伙伴开放。

    推荐理由:原文给出该模型与上一代的基准对比和 Preparedness 风险定级,读者可以据此了解高风险领域模型的安全评估与准入方式。

10月29日周四
  1. OpenAI · 部署安全与系统卡60

    OpenAI 发布 GPT-6 Luna 更新版系统卡,模型回复更简洁并减少过度附和

    OpenAI 在 ChatGPT 中更新 GPT-6 Luna,新版 GPT-6 Luna(10月29日)回复更简洁并减少过度附和语言,沿用 10月7日版本的防护栈与数据训练方式。

    推荐理由:更新版让回复更简洁并减少过度附和,但六项事实性指标错误率均较10月7日版上升,可对照权衡取舍。

10月28日周三
  1. Pydantic AI 官方文章70

    Pydantic AI 发布5276次运行的基准,验证code mode让长任务成本降58%、时间降51%

    Pydantic AI 作者自建基准,用5个小型CRUD应用、8个模型、5276次评分运行对比开关code mode的效果。长任务上8个模型平均成本降58%、墙钟时间降51%,成功率高16个百分点;200条任务时无code mode成功率从92-100%滑到62-79%,开启后保持92-100%。

    推荐理由:原文用5276次受控运行量化code mode在长短任务上的成本与正确率变化,还诚实列出小任务税收等代价,结论可直接迁移到自己的Agent设计。

  2. goose 官方博客63

    goose 对比实测五种开源编码 harness,同一模型下通过率相近而成本最多相差 75%

    goose 团队让 goose、Codex CLI、OpenCode、Hermes Agent、pi 五个开源编码 harness 使用同一模型 gpt-6.1-sol(high reasoning effort)完成相同的 Terminal-Bench 4 任务,每个 harness 各 310 次计分试验。

    推荐理由:同一模型下各 harness 通过率无显著差异而成本最多相差 75%,为编码 Agent 选型提供了实测成本参照。

10月27日周二
  1. Ai2 / Allen Institute for AI64

    Ai2 发布研究检验大模型能否可靠判断科研想法新颖性

    Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和自动化评测集构建流程,结论是当前大模型判断科研想法新颖性远非可靠,在 AI 生成想法上尤其脆弱。

    推荐理由:同一组研究想法会因提示词措辞微调得到相反结论,原文还给出比专用评估系统更准且更便宜的简单基线供复用。

10月26日周一
  1. OpenAI · 部署安全与系统卡67

    OpenAI 发布 GPT-6.1 Terra,系统卡补编披露安全定级与评测结果

    OpenAI 发布 GPT-6 系列最新模型 GPT-6.1 Terra,定位高速高效、面向高频专业工作,具备较强的图像分析和 computer use 能力。

    推荐理由:系统卡补编逐项给出与历代模型的安全评测对比,读者能看到新模型在智能体越界和心理健康等维度的进步与回退。

10月7日周三
  1. OpenAI · 部署安全与系统卡87

    OpenAI 向 ChatGPT 全球免费与付费用户发布 GPT-6 Sol 与 GPT-6 Luna

    OpenAI 将 GPT-6 Sol 和 GPT-6 Luna 推向 ChatGPT 全球免费与付费用户,替代 GPT-5.6 Sol 和 GPT-5.6 Luna,Codex 与 ChatGPT Work 暂仍使用 9 月版本。

    推荐理由:系统卡在报告越狱抵抗与事实性提升之外,也公开了自伤等安全指标相较 GPT-5.6 的回退及缓解措施。

9月24日周四
9月3日周四
  1. ARC Prize · 官方博客78

    OpenAI GPT-6 Astra 在 ARC-AGI-3 上取得 99.9% 并超越人类动作效率

    ARC Prize 发布 GPT-6 Astra 在 ARC-AGI-3 Semi-Private 上的评测结果:Standard harness 下得分 62.7%、花费 $26K,Provider Adapter harness 下得分 99.9%、花费 $19K,均为当前最高分。

    推荐理由:ARC Prize 亲自实测并公开成本、动作效率与两种 harness 的差异,读者可据此了解 Astra 在 ARC-AGI-3 上的真实表现边界。

8月15日周六
  1. Augment Code 博客62

    Augment Code 重构 Auggie CLI harness,任务成本比 Claude Code 低 53%

    Augment Code 从零重构了 Auggie CLI 的 harness,在 SWE-bench Pro 同等通过率下单任务成本 $1.27,比 Claude Code 的 $2.70 低 53%,比旧版 v1 也再降一档。

    推荐理由:原文把降本归因于工具面收缩、检索替代探索和主动压缩三个做法,做 Agent 工程的读者可以对照自查自己的 token 成本。

5月4日周一
5月1日周五
  1. ARC Prize · 官方博客71

    ARC Prize 用 ARC-AGI-3 分析 GPT-5.5 与 Opus 4.7 的三种推理失败模式

    ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹,归纳出三种失败模式并开源分析包,两者在半私有数据集上得分分别为 0.43% 和 0.18%。

    推荐理由:ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同,比总分更能说明两者推理差异。

4月14日周二
3月25日周三
  1. ARC Prize · 官方博客70

    ARC Prize 发布 ARC-AGI-3 交互式基准,ARC Prize 2026 奖金超 200 万美元

    ARC Prize 发布 ARC-AGI-3,这是 ARC-AGI 系列首个完全交互式基准,由数百个人类游戏设计师手工打造的回合制环境和数千个游戏式关卡组成,不提供任何说明、规则或目标,要求智能体自主探索玩法并将经验带入越来越难的关卡。

    推荐理由:人类得分 100% 而前沿 AI 仅 0.51%,这组对比数字直观呈现了智能体自主探索能力的缺口。

1月27日周二
2025年12月5日周五
  1. ARC Prize · 官方博客72

    ARC Prize 2025 结果公布,ARC-AGI-3 将于 2026 年初转向交互推理

    ARC Prize 2025 揭晓成绩:NVARC 以 24.03% 夺得 Kaggle 冠军,1,455 支队伍提交 15,154 份方案,90 篇论文参赛且所有获奖方案与论文均开源。

    推荐理由:官方复盘给出 ARC-AGI-2 最新成绩与 refinement loop 分析,并预告 ARC-AGI-3 将转向交互推理评测,读者可据此理解推理系统的进展与基准设计的局限。