vLLM v0.33.0 发布:升级 PyTorch 2.14 并支持多款新模型
vLLM 发布 v0.33.0 版本,包含来自 389 位贡献者的 927 个提交,其中 122 位为新贡献者。
推荐理由:更新日志列出了新增模型支持、推理加速数据和 CUDA 13.0 依赖变化,运维可据此评估升级对现有部署的影响。
vLLM 发布 v0.33.0 版本,包含来自 389 位贡献者的 927 个提交,其中 122 位为新贡献者。
推荐理由:更新日志列出了新增模型支持、推理加速数据和 CUDA 13.0 依赖变化,运维可据此评估升级对现有部署的影响。
vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin(含专属 Rubin 内核)与 AMD MI350 系列 GPU,并提供 NVIDIA 和 AMD 两个预构建镜像。
推荐理由:原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果,推理部署选型时可对照自身场景参考。
vLLM 发布 v0.30.0 版本,包含来自 315 位贡献者的 762 个 commit,其中 104 人首次参与贡献。
推荐理由:这一版集中了新模型支持、启动加速与水印生成等改动,维护 vLLM 部署的团队可以对照检查升级收益和破坏性变更。
SGLang 发布 v0.5.19,合入 214 位贡献者的 786 个 PR,新增 beam search(请求传 beam_width 即返回 n 条最优序列),并将统一 radix tree 设为所有模型的默认缓存。
推荐理由:版本将统一 radix tree 设为默认缓存并新增 beam search,附各硬件实测性能数字,自部署推理服务的人可据此评估升级收益。