vLLM 官方博客· Mistral and the vLLM Team·· 10 天前精选AI 评分73
vLLM 推出对 Mistral Large 4 的 Day 0 支持
Day 0 support for Mistral Large 4 on vLLM
AI 导读
vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持，FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。
推荐理由
原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比，读者可据此为不同硬件规模选择部署配置。
来源：vLLM 官方博客 · vllm.ai