跳到正文
今天11月8日周日2 条
  1. Google AI · DEV 作者专属41

    Amazon 称新记忆方法有望降低聊天机器人成本

    Amazon 研究员 Omar Sanseviero 在 X 发布研究称,将用户稳定事实内化进模型参数的“权重记忆”可减少每次查询读取的 token,效果匹敌或超越文本检索。最佳结果来自 verify-then-regenerate 路由器,在权重记忆与检索文本之间切换。该方案中文本检索在模型外存储原始笔记,学生模型内化稳定事实。

11月7日周六
  1. vLLM 官方博客61

    NVIDIA Research 与 Inferact 提出异步 RL 论文 REINFORCE Zero,零失配覆盖 DeepSeek-V4.1 与 Kimi K3.1

    NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,通过对齐 rollout 与训练内核、再用不截断的 token 级重要性采样,实现稳定的异步强化学习。

    推荐理由:论文把 rollout 与训练的差距拆成权重滞后和内核失配两部分,说明对齐内核后不加截断的重要性采样就能稳定异步训练,滞后 64 仍可学习。

11月6日周五
11月5日周四
  1. Nature · Machine Learning42

    DeltaCata:用几何深度学习建模突变引起的酶动力学参数变化,实现高效酶工程

    中山大学与国家超级计算深圳中心团队开发孪生几何图神经网络 DeltaCata,直接预测突变引起的酶动力学参数 kcat 与 Km 变化。模型基于相同实验条件下配对野生型与突变体参数的高质量数据集训练,对训练集未见的酶性能提升尤为显著。用于改造甲基转移酶 sGmOMT2 后,体外合成 icaritin 的催化效率最高提升 7.0 倍。

  2. Google Research 博客43

    Agile Deliberation:AI 如何帮助人类界定灰色地带

    Google Research 推出 Agile Deliberation 框架,以人机迭代对话的方式构建主观类别图像分类器。框架先引导用户拆解子类别与排除项,再由 VLM 挖掘边界图像收集人类反馈,经 LLM 驱动的优化循环自动生成分类器,代码已在 GitHub 开源。18 场 1.5 小时真人会话评估显示,模型优于标准基线,并大幅降低用户疲劳与焦虑。

11月4日周三
11月3日周二
  1. OpenAI · 失准报告与通报65

    OpenAI 训练并部署激活分类器,为大模型安全与对齐增加实时监测层

    OpenAI 训练并部署激活分类器(探针)作为大模型的额外安全层,从 GPT-5.6 起在最强模型的全部助手输出上运行。探针利用模型内部激活逐 token 打分,可中途拦截违规回复、阻断工具调用并升级给推理模型复核;实验显示其对测试过的越狱比文本分类器更鲁棒,精度随模型能力提升,在后训练检查点间迁移良好,但换新预训练基座需要重训,且只能检测有标注数据训练过的已知违规类型。

    推荐理由:原文比较激活探针与文本分类器在越狱鲁棒性和运行效率上的差异,并给出跨模型迁移与重训的边界。

10月28日周三
  1. Google Research 博客61

    Google Research 提出睡眠框架,让大语言模型在持续学习中保留知识

    Google Research 提出持续学习中的睡眠框架,让大语言模型在活跃交互与离线睡眠之间交替,把脆弱的短期记忆固化为长期参数记忆,同时缓解灾难性遗忘。睡眠阶段包含记忆巩固与做梦两部分,通过解锁 MoE 记忆块、结合 GKD 与强化学习的知识注入,以及随机专家选择和梯度筛选合成样本来实现自我提升。

    推荐理由:原文给出睡眠框架在持续翻译、长上下文和数学推理上对比 ICL、SFT 等基线的实验结果,可了解缓解灾难性遗忘的一种新思路。

10月26日周一
10月25日周日
10月23日周五
  1. Amazon Science46

    Audible 用可控 TTS 改进有声书语音合成

    Audible 技术团队用可控 TTS 改善有声书语音合成,让模型按自然语言描述控制对白演绎。其数据合成管线生成带语音描述的训练数据,BookLLM 自动识别书中角色与对白,英、西语识别准确率分别达 97% 和 94%。合成有声书在 MUSHRA 测试中对白区分度提高 3.7 分,英语和西班牙语测试中十种声音有八种聆听体验显著改善。

10月22日周四
  1. Ai2 / Allen Institute for AI45

    Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 扩展至六个热带地区

    Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 基准扩展到留尼汪等六个热带地区。数据包含 2,750 条对齐的 Sentinel-2、Sentinel-1 与 Landsat-8 时间序列,及 4,506 km² 地块标签,覆盖甘蔗、香蕉、菠萝等 7 类作物。各模型在训练未见过的岛屿上准确率约损失一半,基准已在 Hugging Face 和 GitHub 开放。

10月20日周二
10月14日周三
  1. Apple Machine Learning Research55

    Apple 在 NeurIPS 发表三模态掩码扩散模型设计空间研究

    Apple 研究团队在 NeurIPS 发表论文,提出首个从零预训练的三模态掩码扩散模型,训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响,给出基于 SDE 的重参数化以解耦物理与逻辑批次大小,免去批次大小调优。

10月13日周二
  1. Apple Machine Learning Research46

    混合而非调参:Apple 研究显示数据受限场景下双语预训练优于超参数搜索

    Apple 研究发现,数据受限预训练中混入高资源语言数据比超参数调优提升更大,且差距随模型规模扩大。实验覆盖 150M 至 1.43B 四个模型规模、约 1000 次预训练运行,以阿拉伯语为目标、英语为辅助。混合等效于 2–3 倍唯一目标数据的验证损失增益和 2–13 倍下游准确率增益,建议优先调混合比例并用 μP 迁移超参数。

10月10日周六
10月7日周三
  1. OpenAI · 失准报告与通报60

    OpenAI 研究 o3 模型中的元博弈潜变量,发现其由多个重叠内部机制构成

    OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。

    推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。

9月9日周三
7月26日周日
7月21日周二
  1. OpenAI · 失准报告与通报74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。

    推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。

6月29日周一
  1. Meta AI Blog63

    Meta 发布 Brain2Qwerty v2:非侵入式脑信号解码词准确率达 61%

    Meta AI 发布 Brain2Qwerty v2,称其为能从非侵入式脑记录实时解码整句、性能最高的端到端管线,词准确率达 61%,远高于其他非侵入式方法的 8%,最佳参与者达 78%。

    推荐理由:原文给出非侵入式解码与手术植入方案的准确率对比,读者可以据此判断数据规模扩大后这条无创路线还能走多远。

6月19日周五
  1. OpenAI · 失准报告与通报64

    OpenAI 研究表明有益特质强化学习可带来广泛且持久的对齐改进

    OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。

    推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。

6月9日周二
6月6日周六
5月8日周五