vLLM 推出对 Mistral Large 4 的 Day 0 支持
vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持,FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。
推荐理由:原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比,读者可据此为不同硬件规模选择部署配置。
vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持,FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。
推荐理由:原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比,读者可据此为不同硬件规模选择部署配置。
Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU,分别与 Inferact 和 RadixArk 合作开发,项目已在 GitHub 开源。
推荐理由:为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式,并附公开基准的成本与吞吐数据。
vLLM 发布 v0.32.0,包含 363 位贡献者的 814 项提交,新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。
推荐理由:本次集中改进低精度 KV cache、启动速度和 API 负载均衡,并修复多个安全问题,自行部署推理服务的读者可据此评估升级收益。
Microsoft 宣布从 2027 年起将 Azure Maia 家族扩展至多吉瓦级部署,并使 Maia 成为 Microsoft 产品与服务的主要推理系统。
推荐理由:原文给出 Maia 300 每兆瓦 token 效率和机架吞吐的具体数字,读者可据此比较微软自研芯片与 GPU 方案的定位。