vLLM 官方博客· Inferact and the vLLM Team·· 16 天前AI 评分54
vLLM 详解在 GB300 NVL72 上大规模服务 DeepSeek-V4.1-Flash 的性能优化
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
AI 导读
vLLM 团队发布性能研究，在单台 NVIDIA GB300 NVL72 上用 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash，跑 SemiAnalysis AgentX 达到每 GPU 954K tokens/s、P90 每用户 196 tokens/s，是此前单节点结果的 7.9 倍，成本 $38.96 每 GPU 小时。
来源：vLLM 官方博客 · vllm.ai