跳到正文
  1. AWS Machine Learning Blog65

    SageMaker Inference 新增 Multi-Instance GPU 分区以提升模型端点的 GPU 利用率

    Amazon SageMaker Inference 现已支持 GPU 分区,基于 NVIDIA Multi-Instance GPU(MIG)把一块物理 GPU 硬件隔离地划分为最多 7 个分区,使端点可承载的模型数量不再受 GPU 颗数限制。

    推荐理由:原文给出各 GPU 型号的分区档位和 H100 分区对整卡 A100 的实测对比,读者可据此为模型选择合适的 GPU 部署单元。

  2. vLLM 官方博客61

    NVIDIA Research 与 Inferact 提出异步 RL 论文 REINFORCE Zero,零失配覆盖 DeepSeek-V4.1 与 Kimi K3.1

    NVIDIA Research 与 Inferact 发布 REINFORCE Zero 论文,通过对齐 rollout 与训练内核、再用不截断的 token 级重要性采样,实现稳定的异步强化学习。

    推荐理由:论文把 rollout 与训练的差距拆成权重滞后和内核失配两部分,说明对齐内核后不加截断的重要性采样就能稳定异步训练,滞后 64 仍可学习。

  1. Hugging Face Blog61

    NVIDIA 发布 Cosmos 3 家族四个开源权重模型 用于交互式世界仿真与驾驶场景生成

    NVIDIA 在 Cosmos 3 模型家族新增四个开源权重检查点,用于生成交互式世界仿真和多传感器多视角驾驶场景。四个模型均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许按其条款商用和非商用。

    推荐理由:四个开源权重模型分别覆盖驾驶仿真和机器人双臂操作,配套的四阶段后训练配方可供研究者按自己的传感器配置或本体数据做适配。

  1. vLLM 官方博客73

    vLLM 推出对 Mistral Large 4 的 Day 0 支持

    vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持,FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。

    推荐理由:原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比,读者可据此为不同硬件规模选择部署配置。

  1. vLLM 官方博客65

    vLLM 为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA 与 AMD 多款 GPU

    vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin(含专属 Rubin 内核)与 AMD MI350 系列 GPU,并提供 NVIDIA 和 AMD 两个预构建镜像。

    推荐理由:原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果,推理部署选型时可对照自身场景参考。

  1. vLLM 官方博客66

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E,覆盖稠密与 MoE 的多类权重量化组合。

    推荐理由:原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式,读者可对照部署硬件评估收益。

  1. Comfy Blog64

    NVIDIA VFX 节点上线 ComfyUI,支持视频超分、补帧和 SDR 转 HDR

    ComfyUI 上线 NVIDIA VFX 自定义节点,可在本地 Nvidia RTX GPU 上运行视频超分、补帧和 SDR 转 HDR 三个 RTX 视频特效模型。

    推荐理由:原文梳理了超分、补帧和 HDR 三个节点的参数与推荐串联顺序,做本地视频后期的读者可以据此把整条 VFX 流程接入 ComfyUI。

已经到底了