Google AI · DEV 作者专属· AI Tech News·2026-11-07 08:01· 1 天前AI 评分66

SGLang Paged Experts 实测分析：VRAM 装不下的 MoE 模型、PCIe 带宽账与 4 请求瓶颈

Running an MoE Model Larger Than Your VRAM: SGLang Paged Experts, the PCIe Math, and the 4-Request Cliff

AI 导读

作者分析 SGLang 0.5.23 的 Paged Experts 功能，它将部分专家常驻 GPU、其余放在锁页内存并按需换入，在 Qwen3-30B-A3B 上单流解码最高达 205.6 tok/s。