跳到正文
vLLM 官方博客· Inferact and the vLLM Team·· 4 天前精选AI 评分74

vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持

vLLM Delivers Day-0 Support for Kimi K3.1 Pro

AI 导读

vLLM 宣布为 Moonshot AI 开源模型 Kimi K3.1 Pro 提供 Day-0 支持,覆盖 NVIDIA GPU、AMD GPU、Google TPU 和 Alibaba T-Head Zhenwu PPU。

推荐理由

原文给出稀疏注意力在多类芯片上的部署方案与吞吐数据,读者可以据此评估长上下文智能体推理的硬件选型。

来源:vLLM 官方博客 · vllm.ai