跳到正文
  1. AWS Machine Learning Blog65

    SageMaker Inference 新增 Multi-Instance GPU 分区以提升模型端点的 GPU 利用率

    Amazon SageMaker Inference 现已支持 GPU 分区,基于 NVIDIA Multi-Instance GPU(MIG)把一块物理 GPU 硬件隔离地划分为最多 7 个分区,使端点可承载的模型数量不再受 GPU 颗数限制。

    推荐理由:原文给出各 GPU 型号的分区档位和 H100 分区对整卡 A100 的实测对比,读者可据此为模型选择合适的 GPU 部署单元。

  1. vLLM 官方博客73

    vLLM 推出对 Mistral Large 4 的 Day 0 支持

    vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持,FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。

    推荐理由:原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比,读者可据此为不同硬件规模选择部署配置。

  1. vLLM 官方博客65

    vLLM 为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA 与 AMD 多款 GPU

    vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin(含专属 Rubin 内核)与 AMD MI350 系列 GPU,并提供 NVIDIA 和 AMD 两个预构建镜像。

    推荐理由:原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果,推理部署选型时可对照自身场景参考。

  1. vLLM 官方博客66

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E,覆盖稠密与 MoE 的多类权重量化组合。

    推荐理由:原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式,读者可对照部署硬件评估收益。

已经到底了