vLLM 官方博客· Inferact and Recursive·· 18 天前AI 评分54
vLLM 首日支持 Recursive 新模型 Flint，单张 GPU 可运行 40B MoE
Day-0 Support for Flint on vLLM
AI 导读
vLLM 首日支持 Recursive 新模型 Flint，NVFP4 与 BF16 两种权重均可在单张 GPU 上运行，单张 GB200 上 100K 上下文的单请求解码约 500 tokens/s。
来源：vLLM 官方博客 · vllm.ai