vLLM v0.26.0 发布:新增 Inkling 模型家族支持,跨厂商推进 DeepSeek-V4 性能优化
vLLM 发布 v0.26.0,收录 212 位贡献者的 411 个 commits,含 61 位新贡献者。该版本为 Inkling 模型家族提供完整支持栈,包括 MTP=1 speculative decoding、LoRA 与 ModelOpt NVFP4 量化等。DeepSeek-V4 性能跨厂商优化,专用路由 kernel 实现 2.94% E2E TPOT 改善。
vLLM 发布 v0.26.0,收录 212 位贡献者的 411 个 commits,含 61 位新贡献者。该版本为 Inkling 模型家族提供完整支持栈,包括 MTP=1 speculative decoding、LoRA 与 ModelOpt NVFP4 量化等。DeepSeek-V4 性能跨厂商优化,专用路由 kernel 实现 2.94% E2E TPOT 改善。
Meta 开源视觉模型 DINOv3 和 SAM 正被匹兹堡大学用于残障人士辅助机器人平台 RAMMP,该项目获 ARPA-H 最高 $41.5 million 资助。模型经优化部署在电池供电的边缘设备上,可查询机器人图像传感器识别自动门按钮、水杯、路缘/地面以辅助导航。该功能已集成进首个原型、准备实测,语音与触控输入正在开发。
unslothai 的 stable-diffusion.cpp 仓库以纯 C/C++ 实现扩散模型推理,支持 SD、Flux、Wan、Qwen Image、Z-Image 等模型。
CopilotKit 在 GitHub 上提供 OpenTag,这是一个基于 AG-UI 与 LangGraph 构建的 Channels SDK 入门应用。OpenTag 可用作 Slack 和 Microsoft Teams 的自托管 AI 值班分诊机器人,开发者可 fork 该仓库并上线自己的版本。
langgenius 开源了编码智能体托管运行时 mosoo。它通过统一的 Agents API 运行 OpenAI Codex、Claude Agent SDK、OpenCode 和 Pi Agent,提供隔离云沙箱、持久会话、工具流式输出和托管文件能力。
Apple 在 GitHub 提供 coreai-models 仓库,包含面向端侧 AI 的模型导出配方、Python 原语与 Swift 运行时工具。
火山引擎在 GitHub 发布 volcengine-agent-toolkit,为 Claude Code、Codex、Cursor、Gemini CLI、OpenCode 等 AI 编程智能体提供技能与插件。该工具包通过 `ve` CLI 管理云资源,支持搜索官方文档和故障排查,并可按需安装产品领域技能。
Berkeley AI Research 发布长文综述并行推理领域进展,重点分析自适应并行推理(Adaptive Parallel Reasoning),让模型自主决定何时分解并行子任务、启动多少并发线程及如何协调。
n8n-io 在 GitHub 发布 terraform-aws-n8n 模块,一条 terraform apply 即可在 AWS 部署生产级 n8n Enterprise。该模块整合多主 EKS、RDS Postgres、ElastiCache Redis、S3 和 ALB 等组件。
axolotl-ai-cloud 在 GitHub 上发布 dflash-mlx 项目,基于 MLX 框架在 Apple Silicon 上实现精确投机解码。该项目由 MLX 驱动,面向 Apple Silicon 平台提供 exact 投机解码能力。
modelscope 的 MCore-Bridge 项目为前沿大模型提供 Megatron-Core 模型定义,让 Megatron 训练像 Transformers 一样简单。项目支持 300+ 大语言模型(含 Qwen3-Next、GLM-5.3、Deepseek-V4、MiniMax-2.7 等)和 200+ 多模态大模型(含 Qwen3.8、Qwen3-Omni、Gemma4 等)。
Jina AI 在 GitHub 开源 jina-ai/cli 项目,把搜索、读取、嵌入和重排等全部 Jina AI API 封装为 Unix CLI 命令,并支持管道组合使用。开发者可在终端以 Unix 风格直接调用这些 API,也可通过管道将多个能力串联成工作流。项目已在 GitHub 的 jina-ai 组织下提供。
CopilotKit 的 aimock 用于模拟 AI 应用对接的全部外部服务,包括 LLM API、MCP、A2A、AG-UI、向量数据库和搜索。整个方案只需一个包、一个端口,且零依赖。
triton-lang 的 GitHub 仓库 triton-windows 为 Triton 提供 Windows 支持,仓库描述为 Triton with Windows support。该项目供需要在 Windows 环境使用 Triton 的用户使用。
keras-team 的 Kinetic 支持用单个 Python 装饰器在云端 TPU 和 GPU 上无缝运行机器学习工作负载,无需基础设施管理。该项目托管在 GitHub 上,仓库为 keras-team/kinetic。
triton-ascend 是 triton-lang 组织在 GitHub 上提供的项目,为华为昇腾 NPU 提供 Triton 语言与编译器。该项目使 Triton 代码能够面向昇腾 NPU 进行编译。
阿里云 Tair KVCache 是一套面向 LLM 推理的高性能 KVCache 系统,托管在 GitHub 的 alibaba 组织下。系统包含全局缓存管理组件和推理模拟组件 HiSim 等多个模块。
AI21 Labs 在 GitHub 发布 auto-tuning-vllm,用于自动调优 vLLM 的 LLM 部署性能。该项目组合 vLLM、GuideLLM 与 Optuna 三个工具,帮助用户获得 LLM 部署的最佳性能。