vLLM 官方博客· Ant Group and the vLLM Community·· 18 天前精选AI 评分66
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming，统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E，覆盖稠密与 MoE 的多类权重量化组合。
推荐理由
原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式，读者可对照部署硬件评估收益。
来源：vLLM 官方博客 · vllm.ai