跳到正文
11月7日周六
  1. vLLM 官方博客61

    NVIDIA Research 与 Inferact 提出异步 RL 论文 REINFORCE Zero,零失配覆盖 DeepSeek-V4.1 与 Kimi K3.1

    NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,通过对齐 rollout 与训练内核、再用不截断的 token 级重要性采样,实现稳定的异步强化学习。

    推荐理由:论文把 rollout 与训练的差距拆成权重滞后和内核失配两部分,说明对齐内核后不加截断的重要性采样就能稳定异步训练,滞后 64 仍可学习。

  2. Ai2 / Allen Institute for AI46

    ToyBlocks:用于机器人学习与评估的受控世界

    Ai2 推出用于机器人学习与评估的 FoundationWorlds 框架,首个世界 ToyBlocks 是围绕桌面机械臂和方块构建的开源仿真框架,可自动生成任务与训练演示、无需人工遥操作。它借助强化学习与 TAMP 规划生成技能和演示数据,单 GPU 并行执行数百个计划,最高达 24 倍实时性能。在 ToyBlocks 中训练的 Molmo 2 负责选择技能,ManiFlow 控制机械臂执行。

11月6日周五
  1. MIT Technology Review · AI51

    亲历 Tau Robotics 人形机器人上门打扫公寓:远程驾驶保洁服务实测

    作者以普通用户身份体验了 Tau Robotics 在旧金山的人形机器人上门保洁服务,机器人目前由人类远程驾驶,吸尘拖地可独立完成,铺床叠衣仍需运动学引导。下单时单人机器人每小时清洁收费 30 美元,现改为两台机器人每周 60 美元或单次 100 美元,低价源于每次服务采集的训练数据。

11月5日周四
  1. Nature · Machine Learning42

    DeltaCata:用几何深度学习建模突变引起的酶动力学参数变化,实现高效酶工程

    中山大学与国家超级计算深圳中心团队开发孪生几何图神经网络 DeltaCata,直接预测突变引起的酶动力学参数 kcat 与 Km 变化。模型基于相同实验条件下配对野生型与突变体参数的高质量数据集训练,对训练集未见的酶性能提升尤为显著。用于改造甲基转移酶 sGmOMT2 后,体外合成 icaritin 的催化效率最高提升 7.0 倍。

  2. Google Research 博客43

    Agile Deliberation:AI 如何帮助人类界定灰色地带

    Google Research 推出 Agile Deliberation 框架,以人机迭代对话的方式构建主观类别图像分类器。框架先引导用户拆解子类别与排除项,再由 VLM 挖掘边界图像收集人类反馈,经 LLM 驱动的优化循环自动生成分类器,代码已在 GitHub 开源。18 场 1.5 小时真人会话评估显示,模型优于标准基线,并大幅降低用户疲劳与焦虑。

11月4日周三
11月3日周二
  1. OpenAI · 失准报告与通报65

    OpenAI 训练并部署激活分类器,为大模型安全与对齐增加实时监测层

    OpenAI 训练并部署激活分类器(探针)作为大模型的额外安全层,从 GPT-5.6 起在最强模型的全部助手输出上运行。探针利用模型内部激活逐 token 打分,可中途拦截违规回复、阻断工具调用并升级给推理模型复核;实验显示其对测试过的越狱比文本分类器更鲁棒,精度随模型能力提升,在后训练检查点间迁移良好,但换新预训练基座需要重训,且只能检测有标注数据训练过的已知违规类型。

    推荐理由:原文比较激活探针与文本分类器在越狱鲁棒性和运行效率上的差异,并给出跨模型迁移与重训的边界。

10月29日周四
  1. PyTorch Blog61

    PyTorch 2.15 发布,重写 NCCL 通信后端成为默认并优化大模型解码性能

    PyTorch 2.15 正式发布,重写的 NCCL 通信后端成为所有 nccl 进程组的默认选项,并提供 TORCH_DIST_USE_NCCL2=0 和 nccl-legacy 回退路径。

    推荐理由:官方逐项列出默认启用的重写 NCCL 后端、FSDP2 显存控制和 Apple Silicon FP8 等变化,读者可据此评估升级对现有训练与推理管线的影响。

10月28日周三
  1. Google Research 博客61

    Google Research 提出睡眠框架,让大语言模型在持续学习中保留知识

    Google Research 提出持续学习中的睡眠框架,让大语言模型在活跃交互与离线睡眠之间交替,把脆弱的短期记忆固化为长期参数记忆,同时缓解灾难性遗忘。睡眠阶段包含记忆巩固与做梦两部分,通过解锁 MoE 记忆块、结合 GKD 与强化学习的知识注入,以及随机专家选择和梯度筛选合成样本来实现自我提升。

    推荐理由:原文给出睡眠框架在持续翻译、长上下文和数学推理上对比 ICL、SFT 等基线的实验结果,可了解缓解灾难性遗忘的一种新思路。

10月23日周五
  1. Amazon Science46

    Audible 用可控 TTS 改进有声书语音合成

    Audible 技术团队用可控 TTS 改善有声书语音合成,让模型按自然语言描述控制对白演绎。其数据合成管线生成带语音描述的训练数据,BookLLM 自动识别书中角色与对白,英、西语识别准确率分别达 97% 和 94%。合成有声书在 MUSHRA 测试中对白区分度提高 3.7 分,英语和西班牙语测试中十种声音有八种聆听体验显著改善。

10月22日周四
  1. Ai2 / Allen Institute for AI61

    Ai2 发布卫星嵌入模型 OlmoEarth v1.3,附全球预计算嵌入与 Embeddings Explorer 工具

    Ai2 发布卫星嵌入模型 OlmoEarth v1.3,同时开放全球年度预计算嵌入向量与免登录的 Embeddings Explorer 浏览器工具。

    推荐理由:原文给出27项评测对比成绩,配免登录的全球嵌入向量和浏览器工具,遥感任务从小时级微调变成秒级初探。

  2. Ai2 / Allen Institute for AI45

    Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 扩展至六个热带地区

    Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 基准扩展到留尼汪等六个热带地区。数据包含 2,750 条对齐的 Sentinel-2、Sentinel-1 与 Landsat-8 时间序列,及 4,506 km² 地块标签,覆盖甘蔗、香蕉、菠萝等 7 类作物。各模型在训练未见过的岛屿上准确率约损失一半,基准已在 Hugging Face 和 GitHub 开放。

10月20日周二
  1. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan,发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。

10月14日周三
  1. Apple Machine Learning Research55

    Apple 在 NeurIPS 发表三模态掩码扩散模型设计空间研究

    Apple 研究团队在 NeurIPS 发表论文,提出首个从零预训练的三模态掩码扩散模型,训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响,给出基于 SDE 的重参数化以解耦物理与逻辑批次大小,免去批次大小调优。

10月13日周二
  1. Apple Machine Learning Research46

    混合而非调参:Apple 研究显示数据受限场景下双语预训练优于超参数搜索

    Apple 研究发现,数据受限预训练中混入高资源语言数据比超参数调优提升更大,且差距随模型规模扩大。实验覆盖 150M 至 1.43B 四个模型规模、约 1000 次预训练运行,以阿拉伯语为目标、英语为辅助。混合等效于 2–3 倍唯一目标数据的验证损失增益和 2–13 倍下游准确率增益,建议优先调混合比例并用 μP 迁移超参数。

10月10日周六
10月7日周三
  1. OpenAI · 失准报告与通报60

    OpenAI 研究 o3 模型中的元博弈潜变量,发现其由多个重叠内部机制构成

    OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。

    推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。

7月26日周日
7月21日周二
  1. OpenAI · 失准报告与通报74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。

    推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。

6月29日周一
  1. Meta AI Blog63

    Meta 发布 Brain2Qwerty v2:非侵入式脑信号解码词准确率达 61%

    Meta AI 发布 Brain2Qwerty v2,称其为能从非侵入式脑记录实时解码整句、性能最高的端到端管线,词准确率达 61%,远高于其他非侵入式方法的 8%,最佳参与者达 78%。

    推荐理由:原文给出非侵入式解码与手术植入方案的准确率对比,读者可以据此判断数据规模扩大后这条无创路线还能走多远。

6月19日周五
  1. OpenAI · 失准报告与通报64

    OpenAI 研究表明有益特质强化学习可带来广泛且持久的对齐改进

    OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。

    推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。

6月9日周二
5月8日周五
3月16日周一
  1. GitHub Org · modelscope45

    modelscope MCore-Bridge:让 Megatron 训练像 Transformers 一样简单,支持 300+ 大语言模型与 200+ 多模态模型

    modelscope 的 MCore-Bridge 项目为前沿大模型提供 Megatron-Core 模型定义,让 Megatron 训练像 Transformers 一样简单。项目支持 300+ 大语言模型(含 Qwen3-Next、GLM-5.3、Deepseek-V4、MiniMax-2.7 等)和 200+ 多模态大模型(含 Qwen3.8、Qwen3-Omni、Gemma4 等)。

2025年12月18日周四
2025年11月26日周三