Google Developers Blog·· 20 天前精选AI 评分66
Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎
Announcing New vLLM and SGLang Inference Engines on TPU
AI 导读
Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU，分别与 Inferact 和 RadixArk 合作开发，项目已在 GitHub 开源。
推荐理由
为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式，并附公开基准的成本与吞吐数据。
来源：Google Developers Blog · developers.googleblog.com