跳到正文
  1. vLLM 官方博客61

    NVIDIA Research 与 Inferact 提出异步 RL 论文 REINFORCE Zero,零失配覆盖 DeepSeek-V4.1 与 Kimi K3.1

    NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,通过对齐 rollout 与训练内核、再用不截断的 token 级重要性采样,实现稳定的异步强化学习。

    推荐理由:论文把 rollout 与训练的差距拆成权重滞后和内核失配两部分,说明对齐内核后不加截断的重要性采样就能稳定异步训练,滞后 64 仍可学习。

  1. OpenAI · 失准报告与通报65

    OpenAI 训练并部署激活分类器,为大模型安全与对齐增加实时监测层

    OpenAI 训练并部署激活分类器(探针)作为大模型的额外安全层,从 GPT-5.6 起在最强模型的全部助手输出上运行。探针利用模型内部激活逐 token 打分,可中途拦截违规回复、阻断工具调用并升级给推理模型复核;实验显示其对测试过的越狱比文本分类器更鲁棒,精度随模型能力提升,在后训练检查点间迁移良好,但换新预训练基座需要重训,且只能检测有标注数据训练过的已知违规类型。

    推荐理由:原文比较激活探针与文本分类器在越狱鲁棒性和运行效率上的差异,并给出跨模型迁移与重训的边界。

  1. PyTorch Blog61

    PyTorch 2.15 发布,重写 NCCL 通信后端成为默认并优化大模型解码性能

    PyTorch 2.15 正式发布,重写的 NCCL 通信后端成为所有 nccl 进程组的默认选项,并提供 TORCH_DIST_USE_NCCL2=0 和 nccl-legacy 回退路径。

    推荐理由:官方逐项列出默认启用的重写 NCCL 后端、FSDP2 显存控制和 Apple Silicon FP8 等变化,读者可据此评估升级对现有训练与推理管线的影响。

  1. Google Research 博客61

    Google Research 提出睡眠框架,让大语言模型在持续学习中保留知识

    Google Research 提出持续学习中的睡眠框架,让大语言模型在活跃交互与离线睡眠之间交替,把脆弱的短期记忆固化为长期参数记忆,同时缓解灾难性遗忘。睡眠阶段包含记忆巩固与做梦两部分,通过解锁 MoE 记忆块、结合 GKD 与强化学习的知识注入,以及随机专家选择和梯度筛选合成样本来实现自我提升。

    推荐理由:原文给出睡眠框架在持续翻译、长上下文和数学推理上对比 ICL、SFT 等基线的实验结果,可了解缓解灾难性遗忘的一种新思路。

  1. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan,发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。

  1. Redwood Research · Blog63

    Redwood Research 发布论文实测蒸馏揭露未对齐与安全转移能力

    Redwood Research 发布论文,实证检验蒸馏不可信模型的两种安全用法。

    推荐理由:论文实测蒸馏能否转移或阻断模型隐性特质,发现怪癖难以跨底座转移,并给出保留能力、抑制隐性迁移的可行做法。

  1. OpenAI · 失准报告与通报60

    OpenAI 研究 o3 模型中的元博弈潜变量,发现其由多个重叠内部机制构成

    OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。

    推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。

  1. OpenAI · 失准报告与通报74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。

    推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。

  1. Meta AI Blog63

    Meta 发布 Brain2Qwerty v2:非侵入式脑信号解码词准确率达 61%

    Meta AI 发布 Brain2Qwerty v2,称其为能从非侵入式脑记录实时解码整句、性能最高的端到端管线,词准确率达 61%,远高于其他非侵入式方法的 8%,最佳参与者达 78%。

    推荐理由:原文给出非侵入式解码与手术植入方案的准确率对比,读者可以据此判断数据规模扩大后这条无创路线还能走多远。

  1. OpenAI · 失准报告与通报64

    OpenAI 研究表明有益特质强化学习可带来广泛且持久的对齐改进

    OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。

    推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。

已经到底了