Apple 在 NeurIPS 发表三模态掩码扩散模型设计空间研究
Apple 研究团队在 NeurIPS 发表论文,提出首个从零预训练的三模态掩码扩散模型,训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响,给出基于 SDE 的重参数化以解耦物理与逻辑批次大小,免去批次大小调优。
Apple 研究团队在 NeurIPS 发表论文,提出首个从零预训练的三模态掩码扩散模型,训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响,给出基于 SDE 的重参数化以解耦物理与逻辑批次大小,免去批次大小调优。
Apple 研究发现,数据受限预训练中混入高资源语言数据比超参数调优提升更大,且差距随模型规模扩大。实验覆盖 150M 至 1.43B 四个模型规模、约 1000 次预训练运行,以阿拉伯语为目标、英语为辅助。混合等效于 2–3 倍唯一目标数据的验证损失增益和 2–13 倍下游准确率增益,建议优先调混合比例并用 μP 迁移超参数。
Amazon Web Services 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法,复用预训练 Transformer 权重构造混合架构,把此类架构的预训练成本降低超过 99%。
Redwood Research 发布论文,实证检验蒸馏不可信模型的两种安全用法。
推荐理由:论文实测蒸馏能否转移或阻断模型隐性特质,发现怪癖难以跨底座转移,并给出保留能力、抑制隐性迁移的可行做法。
Waymo 发表同行评审研究,为美国 50 个最大城市建立“零酒精”人类司机基线:剔除酒驾后城市致命事故率降 23%(从 1.42 降至 1.10 起/1 亿英里),Houston 降 31%,Minneapolis 降 13%。
OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。
推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。
Redwood Research 的 Alex Kastner 实测发现,直接询问时前沿模型几乎总是称偏好 FDT 或 FDT/UDT,而当提示暗示提问者来自主流学术哲学界时,同样的问题约有 30%-100% 的样本改答 CDT。
facebookresearch 在 GitHub 开源 logact 项目,提出通过共享日志设计加固 AI 智能体系统。项目代码已在 GitHub 上公开提供。
TencentARC 在 arXiv'26 发布 GAE(Geometric AutoEncoder)论文,提出学习几何原生潜空间以实现 3D 一致的世界生成。项目 GitHub 仓库为 TencentARC/GAE-GeometricAutoEncoder。
Microsoft Research 与 Paige 联合开发病理学基础模型 PRISM2,以组织图像配对真实病理报告的语言进行训练,研究已发表于 Nature Medicine。在前列腺癌、乳腺癌和乳腺淋巴结转移检测等基准任务上,该模型匹配或超越专用癌症检测系统,且无需为每项任务单独建模。完整模型权重已在 Hugging Face 公开,供研究使用。
UC Berkeley 与 IBM Research 在演化式 kernel 搜索框架 K-Search 上新增 MLX 后端和 CUDA-to-MLX 结构化翻译层,把现有 CUDA kernel 的优化知识转化为 Apple Silicon 上的高质量 kernel。
Berkeley AI Research 提出 ABBEL 框架,让 LLM 用自然语言信念状态替代完整交互历史作为工作上下文。该框架借鉴递归贝叶斯估计,通过信念分级按能否重建最新观测来监督信念内容。
OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。
推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。
月之暗面 Kimi 团队发布 PerceptionBench,从 42 个基准上前沿模型的失败中归纳出 10 项原子视觉感知能力并据此评测多模态大模型。基准发布 3,000 道已验证题目,每题只隔离单一能力,看图即可作答,无需推理或外部知识。对 16 个前沿多模态大模型的评测显示无一准确率达 60%,感知相关幻觉是平均最弱的能力。
Meta AI 发布 Brain2Qwerty v2,称其为能从非侵入式脑记录实时解码整句、性能最高的端到端管线,词准确率达 61%,远高于其他非侵入式方法的 8%,最佳参与者达 78%。
推荐理由:原文给出非侵入式解码与手术植入方案的准确率对比,读者可以据此判断数据规模扩大后这条无创路线还能走多远。
OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。
推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。
OpenAI 用内部生产数据验证,基于公开数据集 WildChat 的对话前缀重采样生成模型回复,能较准确预测 GPT 系列模型在线上真实使用中的失准行为发生率。
推荐理由:OpenAI 用内部生产数据验证了公开聊天数据能预测模型线上失准率,同时指出它在智能体场景下误差明显更大。
MiniMax 发布技术博客,详解 M3 数学证明能力背后的 MaxProof 框架,并称 M3 借此在 IMO 2025 与 USAMO 2026 上超过人类金牌线。
Berkeley AI Research 发布长文综述并行推理领域进展,重点分析自适应并行推理(Adaptive Parallel Reasoning),让模型自主决定何时分解并行子任务、启动多少并发线程及如何协调。
ARC Prize 团队复盘 160 段 GPT-5.5 与 Opus 4.7 在 ARC-AGI-3 上的对局和推理轨迹,归纳出三种失败模式并开源分析包,两者在半私有数据集上得分分别为 0.43% 和 0.18%。
推荐理由:ARC-AGI-3 的逐局推理复盘呈现 GPT-5.5 与 Opus 4.7 失败方式的不同,比总分更能说明两者推理差异。
Yann LeCun 等研究者提出 GRASP,一种基于梯度的世界模型规划器,使长时程规划变得可行。该方法将轨迹提升到虚拟状态使优化跨时间并行、在状态迭代中加入随机性以促进探索,并重塑梯度让动作获得干净信号,避开经高维视觉模型的脆弱“状态-输入”梯度。长时程规划此前易因梯度爆炸或消失、非贪心结构造成的糟糕局部极小而失效。
ARC Prize 基金会开源 ARC-AGI-3 人类表现数据集,基于458名普通参与者、每周在旧金山测试中心线下进行的90分钟受控测试,是 ARC-AGI 系列迄今最详尽的人类测试研究。
ARC Prize 发布 ARC-AGI-3,这是 ARC-AGI 系列首个完全交互式基准,由数百个人类游戏设计师手工打造的回合制环境和数千个游戏式关卡组成,不提供任何说明、规则或目标,要求智能体自主探索玩法并将经验带入越来越难的关卡。
推荐理由:人类得分 100% 而前沿 AI 仅 0.51%,这组对比数字直观呈现了智能体自主探索能力的缺口。
Berkeley AI Research 介绍 SPEX 与 ProxySPEX 两种算法,通过少量消融实验大规模识别 LLM 的关键交互。该框架利用稀疏性和低阶性将交互发现转化为稀疏恢复问题,可用于特征归因、数据归因与模型组件归因。加入层级假设的 ProxySPEX 以约 10x 更少的消融达到 SPEX 同等性能,SPEX 在上下文扩展到数千特征时仍保持高 faithfulness。
Answer.AI 分析 PyPI 数据寻找「AI 效应」:ChatGPT 发布后软件总体产量没有明显跃升,效应集中在 AI 相关的热门软件包上。
推荐理由:基于 PyPI 下载与更新数据,作者估测 AI 生产力效应的范围,读者可以对照自身的效率印象核查证据链。
腾讯 ARC 团队的 Track4World 论文被 ECCV 2026 收录,提出前馈式的世界中心(world-centric)稠密 3D 追踪方法,可对视频中所有像素进行追踪。项目以 GitHub 仓库 TencentARC/Track4World 形式公开。
Answer.AI 的 Piotr Czapla 披露大模型未授权工具调用问题,模型会幻觉出未被授予的工具并发起调用,API 不校验工具名,只要函数存在于运行环境中调用就会真正执行,他在 solveit 中遇到 Claude 4.5 幻觉调用 add_msg 成功写入笔记,并复现于 claude-opus-4-6、Gemini 和 Grok。
推荐理由:作者用可复现实验说明模型可能调用未被授权的工具且 API 不拦截,做能力隔离的 Agent 系统可以据此检查校验逻辑。
Berkeley AI Research 团队在 NeurIPS 2025 论文提出基于互信息的成像系统评估与优化框架。该指标统一考虑噪声、分辨率与光谱灵敏度,在彩色摄影、射电天文、无透镜成像和显微四个领域预测下游解码器性能。据此优化的设计与最先进端到端方法效果相当,内存和计算量更少,且无需任务专用解码器设计。
ARC Prize 2025 揭晓成绩:NVARC 以 24.03% 夺得 Kaggle 冠军,1,455 支队伍提交 15,154 份方案,90 篇论文参赛且所有获奖方案与论文均开源。
推荐理由:官方复盘给出 ARC-AGI-2 最新成绩与 refinement loop 分析,并预告 ARC-AGI-3 将转向交互推理评测,读者可据此理解推理系统的进展与基准设计的局限。