跳到正文
vLLM Releases·· 21 天前精选AI 评分60

vLLM 发布 v0.32.0,包含 814 项提交与多项安全修复

v0.32.0

AI 导读

vLLM 发布 v0.32.0,包含 363 位贡献者的 814 项提交,新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。

推荐理由

本次集中改进低精度 KV cache、启动速度和 API 负载均衡,并修复多个安全问题,自行部署推理服务的读者可据此评估升级收益。

来源:vLLM Releases · github.com