vLLM 官方博客· vLLM Team·· 16 天前AI 评分55
vLLM 用 PCP、DCP 与 Hybrid HiSparse 在 16 张 H200 上优化 GLM-5.3 长上下文服务
GLM-5.3 Optimizations, Part 2: PCP, DCP, and Hybrid HiSparse on 16 H200s
AI 导读
vLLM 团队在两台 8× H200 节点组成的 P/D 分离部署中,用 PCP8 × DCP8 prefill 加 Hybrid HiSparse decode 服务 GLM-5.3,相同吞吐下每用户交互速度达到 DP8 部署的 1.7–3.2 倍,且是所测配置中唯一能服务 1M token 上下文的方案。
来源:vLLM 官方博客 · vllm.ai