跳到正文
  1. AWS Machine Learning Blog65

    SageMaker Inference 新增 Multi-Instance GPU 分区以提升模型端点的 GPU 利用率

    Amazon SageMaker Inference 现已支持 GPU 分区,基于 NVIDIA Multi-Instance GPU(MIG)把一块物理 GPU 硬件隔离地划分为最多 7 个分区,使端点可承载的模型数量不再受 GPU 颗数限制。

    推荐理由:原文给出各 GPU 型号的分区档位和 H100 分区对整卡 A100 的实测对比,读者可据此为模型选择合适的 GPU 部署单元。

  1. vLLM 官方博客74

    vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持

    vLLM 宣布为 Moonshot AI 开源模型 Kimi K3.1 Pro 提供 Day-0 支持,覆盖 NVIDIA GPU、AMD GPU、Google TPU 和 Alibaba T-Head Zhenwu PPU。

    推荐理由:原文给出稀疏注意力在多类芯片上的部署方案与吞吐数据,读者可以据此评估长上下文智能体推理的硬件选型。

  1. vLLM Releases61

    vLLM v0.33.0 发布:升级 PyTorch 2.14 并支持多款新模型

    vLLM 发布 v0.33.0 版本,包含来自 389 位贡献者的 927 个提交,其中 122 位为新贡献者。

    推荐理由:更新日志列出了新增模型支持、推理加速数据和 CUDA 13.0 依赖变化,运维可据此评估升级对现有部署的影响。

  1. vLLM 官方博客65

    vLLM 为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA 与 AMD 多款 GPU

    vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin(含专属 Rubin 内核)与 AMD MI350 系列 GPU,并提供 NVIDIA 和 AMD 两个预构建镜像。

    推荐理由:原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果,推理部署选型时可对照自身场景参考。

  1. Google Developers Blog66

    Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU,分别与 Inferact 和 RadixArk 合作开发,项目已在 GitHub 开源。

    推荐理由:为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式,并附公开基准的成本与吞吐数据。

  1. Google Developers Blog62

    Google 发布 LiteRT Tensor API,用 C++ 手工构建端侧模型

    Google 发布 LiteRT Tensor API,作为 LiteRT 栈中的轻量 C++ 建图层,支持逐算子构建计算图,同一计算图可在 CPU、GPU 与 NPU 上运行,也可经 XNNPACK 无模型文件直接在 CPU 执行。

    推荐理由:为需要手工控制模型的开发者提供折中路径,同一份 C++ 计算图可跑 CPU、GPU 和 NPU,免去按后端重写的工程量。

已经到底了