跳到正文
  1. vLLM 官方博客74

    vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持

    vLLM 宣布为 Moonshot AI 开源模型 Kimi K3.1 Pro 提供 Day-0 支持,覆盖 NVIDIA GPU、AMD GPU、Google TPU 和 Alibaba T-Head Zhenwu PPU。

    推荐理由:原文给出稀疏注意力在多类芯片上的部署方案与吞吐数据,读者可以据此评估长上下文智能体推理的硬件选型。

已经到底了