vLLM Releases·· 21 天前精选AI 评分60
vLLM 发布 v0.32.0,包含 814 项提交与多项安全修复
v0.32.0
AI 导读
vLLM 发布 v0.32.0,包含 363 位贡献者的 814 项提交,新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。
推荐理由
本次集中改进低精度 KV cache、启动速度和 API 负载均衡,并修复多个安全问题,自行部署推理服务的读者可据此评估升级收益。
来源:vLLM Releases · github.com