跳到正文
>hotmap_
只看算力#Google
  1. vLLM 官方博客74

    vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持

    vLLM 宣布为 Moonshot AI 开源模型 Kimi K3.1 Pro 提供 Day-0 支持，覆盖 NVIDIA GPU、AMD GPU、Google TPU 和 Alibaba T-Head Zhenwu PPU。

    推荐理由：原文给出稀疏注意力在多类芯片上的部署方案与吞吐数据，读者可以据此评估长上下文智能体推理的硬件选型。

  1. Google Developers Blog66

    Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU，分别与 Inferact 和 RadixArk 合作开发，项目已在 GitHub 开源。

    推荐理由：为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式，并附公开基准的成本与吞吐数据。

  2. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan，发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU，借助新推出的 TorchTPU 原生后端（torch.device("tpu")），PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练，分支仓库为 https://github.com/google-pytorch/torchtitan/，由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由：原文给出按顺序执行的 TPU 训练优化清单，并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升，便于迁移到自己的训练任务。

  1. Google Developers Blog62

    Google 发布 LiteRT Tensor API，用 C++ 手工构建端侧模型

    Google 发布 LiteRT Tensor API，作为 LiteRT 栈中的轻量 C++ 建图层，支持逐算子构建计算图，同一计算图可在 CPU、GPU 与 NPU 上运行，也可经 XNNPACK 无模型文件直接在 CPU 执行。

    推荐理由：为需要手工控制模型的开发者提供折中路径，同一份 C++ 计算图可跑 CPU、GPU 和 NPU，免去按后端重写的工程量。

已经到底了