vLLM 官方博客· Inferact and the vLLM Team·· 4 天前精选AI 评分74
vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持
vLLM Delivers Day-0 Support for Kimi K3.1 Pro
AI 导读
vLLM 宣布为 Moonshot AI 开源模型 Kimi K3.1 Pro 提供 Day-0 支持,覆盖 NVIDIA GPU、AMD GPU、Google TPU 和 Alibaba T-Head Zhenwu PPU。
推荐理由
原文给出稀疏注意力在多类芯片上的部署方案与吞吐数据,读者可以据此评估长上下文智能体推理的硬件选型。
来源:vLLM 官方博客 · vllm.ai