跳到正文
vLLM 官方博客· vLLM Team, Red Hat PyTorch Team, and Meta PyTorch Team·· 2 天前AI 评分52

vLLM 完成 CUDA 构建的 LibTorch Stable ABI 迁移,升级 PyTorch 无需重建

Migrating vLLM to the LibTorch Stable ABI

AI 导读

vLLM 官方宣布其 CUDA 构建已整体迁移到 LibTorch Stable ABI,自 v0.33.0 起发布 ABI 稳定的 CUDA wheel,更换 PyTorch 轮子后无需重建或更新 vLLM 即可继续使用。

来源:vLLM 官方博客 · vllm.ai