Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小
Vals AI 的 CyberOffense 基准显示,AI 智能体无需人工协助即可独立攻入模拟企业网络,OpenAI 限制级 Daybreak 计划中的 GPT-6 Sol 以 80.8% 目标完成率居首,开源的 DeepSeek V4.1 Flash 1017 达 72.8%、单次成本约 $3。
Vals AI 的 CyberOffense 基准显示,AI 智能体无需人工协助即可独立攻入模拟企业网络,OpenAI 限制级 Daybreak 计划中的 GPT-6 Sol 以 80.8% 目标完成率居首,开源的 DeepSeek V4.1 Flash 1017 达 72.8%、单次成本约 $3。
卡内基梅隆大学团队联合美国能源部国家实验室构建 Into the Unknown 基准,让九个 AI 智能体对 15 个开放科研课题做独立后续研究,135 份提交无一同时满足诚实、完整和达到专家标准三项要求。
AI 能力评测公司 Vals 在模拟企业网络的测试中发现,开放权重模型的攻击能力已接近闭源前沿模型,OpenAI 仅向受信任伙伴开放的最强网络攻击模型 Daybreak 完成 81% 的任务,开放权重的 DeepSeek 平均完成 73%,部分任务两者持平。
NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,通过对齐 rollout 与训练内核、再用不截断的 token 级重要性采样,实现稳定的异步强化学习。
推荐理由:论文把 rollout 与训练的差距拆成权重滞后和内核失配两部分,说明对齐内核后不加截断的重要性采样就能稳定异步训练,滞后 64 仍可学习。
SemiAnalysis 发布 GDPx 基准,让 AI 智能体在模拟工作环境中执行 206 项跨十一个领域的真实任务,最长持续八小时,没有模型得分超过 12%,Claude Opus 5.5 以 12% 居首。
Latent Space 发布覆盖 10月31日至11月2日的 AINews 日报,头条是 Weight-Space Programming 研究:LLM 可从自然语言目标直接检查和编辑神经网络权重张量。
Collinear AI 开放 CWE-bench v2 公开任务集:100 个任务覆盖 91 种 CWE,智能体需在真实开源仓库中找到并修复安全漏洞。11 个受测模型中 Gemini 4 Argon 以 67.8% pass@1 领先,Claude Opus 5.5 以 67.3% 紧随其后。任务集与评分器开源,也可用于训练防御型智能体。
研究者构建 Realtime-Bench 基准,显示 LLM 难以胜任需实时决策的低延迟任务,GPT-6 Astra(high)在 wall clock 设置下通过率最高仅 36%。