新研究发现 AI 审计能发现多数智能体不当行为但产生大量误报
Anthropic 研究院研究员 Andy Hall(斯坦福休假期间)在 Substack 上基于 METR 的 MALT 数据集复现并扩展研究发现,AI 审计模型能发现多数智能体不当行为,GPT-5 在 5% 误报率下检出近 98% 的 reward hacking 案例,Gemini 3.8 Flash 仅约一半。
Anthropic 研究院研究员 Andy Hall(斯坦福休假期间)在 Substack 上基于 METR 的 MALT 数据集复现并扩展研究发现,AI 审计模型能发现多数智能体不当行为,GPT-5 在 5% 误报率下检出近 98% 的 reward hacking 案例,Gemini 3.8 Flash 仅约一半。
Google Research 的 AI 仅凭普通智能手表内置的脉搏和运动传感器即可检测高血压迹象,无需袖带校准,研究已发表于 Nature。该神经网络通过对比近 50 万小时传感器数据中的短片段自学脉搏与心跳模式,在覆盖美国五个研究点的 196 人研究中检出 65.8% 的高血压患者,高于标准诊室测量的 55.3%。
谷歌于当地时间 11 月 5 日发文介绍登《自然》的研究成果:AI-PPG-ACC-HTN 多模态系统无需袖带校准,可用普通消费级智能手表被动检测高血压迹象,该成果已为谷歌健康应用中血压趋势“健康守护”功能提供核心技术支撑。
Google 在开发者博客公布对其代码库的大规模测量,覆盖数千名工程师、数亿步智能体操作,发现陈旧的 TODO(bug/...) 注释会干扰编码智能体,13% 的读文件会话接触过这类注释,其中 6% 触发针对该 bug 的后续动作,83% 属于开发者未要求的自发行动。
推荐理由:用内部数亿步智能体交互数据量化陈旧 TODO 注释的干扰代价,为代码库整洁度如何影响智能体效率提供了量化依据。
SemiAnalysis 发布 GDPx 基准,让 AI 智能体在模拟工作环境中执行 206 项跨十一个领域的真实任务,最长持续八小时,没有模型得分超过 12%,Claude Opus 5.5 以 12% 居首。
Google Research 发表 Nature 论文,提出 AI-PPG-ACC-HTN 系统,利用普通智能手表的 PPG 与加速度计信号被动识别高血压迹象,无需袖带校准。
推荐理由:原文对照24小时动态血压监测金标准,给出初始筛查与确认检测两组性能数字,可帮助读者评估无袖带血压筛查的可行程度。
Wild Dolphin Project 创始人 Denise Herzing 在 WIRED World Fair 上介绍,其团队正与 Georgia Tech 和 Google DeepMind 合作,用 AI 为海豚交流寻找模式、构建语言结构,但尚未实现完整翻译。
Google Research 发布 Agile Deliberation,一个面向主观概念图像分类的人机协同框架,通过提示词调用 Gemini 2.5 Pro 与 Gemini 2.5 Flash、无需微调,平均比零样本 Gemini 2.5 Flash 提高 10.5 个 F1 点。
Google Research 推出 Agile Deliberation 框架,以人机迭代对话的方式构建主观类别图像分类器。框架先引导用户拆解子类别与排除项,再由 VLM 挖掘边界图像收集人类反馈,经 LLM 驱动的优化循环自动生成分类器,代码已在 GitHub 开源。18 场 1.5 小时真人会话评估显示,模型优于标准基线,并大幅降低用户疲劳与焦虑。
Ai2 推出 StateBench 基准,以四个难度层级测试语言模型追踪长文档状态变化的能力。在这些任务上直接训练时,带 Gated DeltaNet 层的循环与混合架构泛化远超 Transformer。Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 等前沿模型随输入变长,仍在更难的状态追踪任务上失效。
Google AI & Infrastructure 团队联合 Mercor 发布 Physical-Engineering's Last Exam(PLE)基准与公开竞赛,测试前沿模型完成机械、电气、土木和结构工程真实任务的能力。
Collinear AI 开放 CWE-bench v2 公开任务集:100 个任务覆盖 91 种 CWE,智能体需在真实开源仓库中找到并修复安全漏洞。11 个受测模型中 Gemini 4 Argon 以 67.8% pass@1 领先,Claude Opus 5.5 以 67.3% 紧随其后。任务集与评分器开源,也可用于训练防御型智能体。
研究者构建 Realtime-Bench 基准,显示 LLM 难以胜任需实时决策的低延迟任务,GPT-6 Astra(high)在 wall clock 设置下通过率最高仅 36%。
SemiAnalysis 联合 14 家领域数据伙伴发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律等 11 个高价值领域,用于衡量前沿模型的通用智能体能力;最好模型总分仅 12%,金融和法律任务几乎所有模型得 0 分。
Google Research 提出持续学习中的睡眠框架,让大语言模型在活跃交互与离线睡眠之间交替,把脆弱的短期记忆固化为长期参数记忆,同时缓解灾难性遗忘。睡眠阶段包含记忆巩固与做梦两部分,通过解锁 MoE 记忆块、结合 GKD 与强化学习的知识注入,以及随机专家选择和梯度筛选合成样本来实现自我提升。
推荐理由:原文给出睡眠框架在持续翻译、长上下文和数学推理上对比 ICL、SFT 等基线的实验结果,可了解缓解灾难性遗忘的一种新思路。
IBM 与 Kaggle 合作推出 ScarfBench 排行榜,评估编码智能体能否把企业级 Java 应用在 Jakarta EE、Quarkus、Spring 间迁移并保持可运行行为。
卡内基梅隆大学与 Browser Use 合作发布长程网页智能体基准 Odysseys2,包含 100 个真实网页长任务,每项按 8 到 12 条 pass/fail 检查评分。
推荐理由:同一模型在不同 harness 和评分器下成绩差距明显,正文用数据说明读 agent 榜单时要把这些变量一并考虑。
Epoch AI 让六款领先模型完成 11 项取自自身工作的真实任务,Claude Fable 5.1 与 GPT-6 Astra 并列领先,但没有模型能稳定达到 Epoch 的质量标准,研究团队判断当前模型还无法替代工作者。
Google DeepMind 与 Google Research 联合 WRI 和 IIASA 发布 ForTy 2020 全球地图,将地球每块 10×10 米土地按 FAO 定义分为六类森林与土地用途,并以开放许可在 Google Earth Engine 上免费提供。
推荐理由:原文给出 ForTy 的六类分类、90% 准确率和开放入口,读者可据此判断它在零毁林合规与森林监测中的用法。
Google Research 团队在 JAMA Network Open 发表前瞻性多中心研究,验证 AI 解读盲扫(blind sweep)超声图像的孕周评估精度不劣于专家超声医师,综合平均绝对误差 4.18 天对专家标准方法的 4.48 天。
推荐理由:原文给出前瞻多中心研究的关键误差数字,显示无超声训练背景的操作者用低成本探头也能达到与专家相当的孕周评估水平。
Google Research 展示三项研究,将 AI 智能体接入湿实验室机器人运行闭环分子设计,并发现个位数纳摩尔亲和力的 FAP 蛋白结合剂。
推荐理由:原文给出智能体操作真实湿实验室的框架与闭环设计结果,可看到实验反馈如何跟上计算设计的步伐。
Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题,模型会幻觉出未被授予的工具并发起调用,API 不校验工具名,只要函数存在于运行环境中调用就会真正执行,他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记,并复现于 claude-opus-4-6、Gemini 和 Grok。
推荐理由:作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截,做能力隔离的 Agent 系统可以据此检查校验逻辑。