vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持，覆盖 NVIDIA Blackwell、Rubin（含专属 Rubin 内核）与 AMD MI350 系列 GPU，并提供 NVIDIA 和 AMD 两个预构建镜像。
推荐理由：原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果，推理部署选型时可对照自身场景参考。
vLLM 团队发布性能研究，在单台 NVIDIA GB300 NVL72 上用 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash，跑 SemiAnalysis AgentX 达到每 GPU 954K tokens/s、P90 每用户 196 tokens/s，是此前单节点结果的 7.9 倍，成本 $38.96 每 GPU 小时。
vLLM 团队在两台 8× H200 节点组成的 P/D 分离部署中，用 PCP8 × DCP8 prefill 加 Hybrid HiSparse decode 服务 GLM-5.3，相同吞吐下每用户交互速度达到 DP8 部署的 1.7–3.2 倍，且是所测配置中唯一能服务 1M token 上下文的方案。
PyTorch Conference North America 2026 于 10 月 20–21 日在圣何塞举办，吸引 3500 多名参会者，会议期间集中发布多项 PyTorch 生态更新。
Amazon 本周宣布开源 TorchNeuron，这个 PyTorch 后端可将 PyTorch 代码翻译为可在 AWS Trainium 系统上执行的操作，已有代码几乎无需修改即可运行。
Dwarkesh Patel 花两天探访 Intel 最先进晶圆厂并访谈多位技术高管，配动画讲解 gate-all-around、背面供电、CFET、hybrid bonding 等未来芯片技术。
PyTorch 团队发布 TorchTitan 重大更新，新增对 Qwen3.5、Qwen3-VL、Kimi K2.7、Kimi K3、DeepSeek-V4、Muse Spark Open、Muse Glimmer 等开放权重模型的 5D 并行完整训练栈支持。
SemiAnalysis 发布长文，分析 9 月 30 日 DeepSeek 为 TileLang、DeepGEMM、DeepEP、FlashMLA 等 6 个仓库加入 Ascend 支持背后的华为与 DeepSeek 互补关系。
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming，统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E，覆盖稠密与 MoE 的多类权重量化组合。
推荐理由：原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式，读者可对照部署硬件评估收益。
vLLM 首日支持 Recursive 新模型 Flint，NVFP4 与 BF16 两种权重均可在单张 GPU 上运行，单张 GB200 上 100K 上下文的单请求解码约 500 tokens/s。
Google 宣布 Coral NPU 边缘 AI 开放标准达成三项里程碑：32-bit 架构随 Milestone 4 Matrix Execution Unit 完成。
Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU，分别与 Inferact 和 RadixArk 合作开发，项目已在 GitHub 开源。
推荐理由：为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式，并附公开基准的成本与吞吐数据。
Google 发布 TorchTitan TPU，借助新推出的 TorchTPU 原生后端（torch.device("tpu")），PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练，分支仓库为 https://github.com/google-pytorch/torchtitan/，由 Google 与 Meta 共同加入 TPU 原生执行。
推荐理由：原文给出按顺序执行的 TPU 训练优化清单，并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升，便于迁移到自己的训练任务。
SGLang 发布 v0.5.22 版本，包含来自 245 位贡献者的 950 个 PR，新增 Clef、EmbeddingGemma 2、LLaDA2.2、HunyuanImage-3.0-Instruct、Kandinsky 6、Wan-Animate-2、SANA-Video 2.0 等模型支持。
Together AI 推出 Together Post-Training 服务，开发者可在平台上用环境奖励 RL 或 SFT 数据训练自定义模型。训练循环由用户定义，支持多个 LoRA adapter 共享 GPU 和全参数训练，首批开放 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B。
Google 发布 LiteRT Tensor API，作为 LiteRT 栈中的轻量 C++ 建图层，支持逐算子构建计算图，同一计算图可在 CPU、GPU 与 NPU 上运行，也可经 XNNPACK 无模型文件直接在 CPU 执行。
推荐理由：为需要手工控制模型的开发者提供折中路径，同一份 C++ 计算图可跑 CPU、GPU 和 NPU，免去按后端重写的工程量。
vLLM 发布 v0.32.0，包含 363 位贡献者的 814 项提交，新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。
推荐理由：本次集中改进低精度 KV cache、启动速度和 API 负载均衡，并修复多个安全问题，自行部署推理服务的读者可据此评估升级收益。
微软发布最新自研芯片 Maia 300，并宣布将 Azure Maia 系统扩展至多吉瓦级部署。官方页面提供 Maia 300 架构深度解析视频，Scott Guthrie、Rani Borkar、Mustafa Suleyman 等高管分别介绍全栈 AI 优势、高效推理的系统方法与芯片模型协同设计。页面同时展示 Maia 300 服务器、系统、原型芯片与板卡图片，并提供行业分析师评论等延伸资源。
Microsoft 宣布从 2027 年起将 Azure Maia 家族扩展至多吉瓦级部署，并使 Maia 成为 Microsoft 产品与服务的主要推理系统。
推荐理由：原文给出 Maia 300 每兆瓦 token 效率和机架吞吐的具体数字，读者可据此比较微软自研芯片与 GPU 方案的定位。
Together AI 联合 IBM 与 NVIDIA 扩展企业级 AI 推理，在 IBM Cloud 部署配备 Spectrum-X 以太网网络的 NVIDIA B300 GPU 专用推理集群。这是 IBM Cloud 上首个此类专用大规模推理集群，Together AI 为首个客户并负责运营推理层。Together AI 目前每月为超 100 万开发者服务数百万亿 token。
vLLM 发布 v0.31.0，汇集 307 位贡献者的 717 次提交，FlashMLA mega attention 与 NVFP4 压缩 KV cache 成为 DeepSeek-V4.1-Flash 在 SM100 上的默认路径。
DeepSeek 在 GitHub 开源 DeepGEMM-Ascend，定位为面向华为昇腾 NPU 的简洁高效矩阵乘法 kernel 库，仓库地址 https://github.com/deepseek-ai/DeepGEMM-Ascend。
推荐理由：DeepSeek 开源了面向华为昇腾 NPU 的矩阵乘法 kernel 库，做底层性能优化的读者可以直接查看源码。
原文摘录：Page content Threshold signature schemes, a form of multi-party computation (MPC) that lets a set of parties sign together without any one of them holding the key, are increasingly deployed inside trusted execution environments (TEEs). … If you’re deploying MPC on TEEs, our cryptography team reviews these exact systems, so get in touch
vLLM 发布 v0.30.0 版本，包含来自 315 位贡献者的 762 个 commit，其中 104 人首次参与贡献。
推荐理由：这一版集中了新模型支持、启动加速与水印生成等改动，维护 vLLM 部署的团队可以对照检查升级收益和破坏性变更。
SGLang 发布 v0.5.20，合入来自 237 位贡献者的 713 个 PR，新增 GLM-5.3-Flash、Qwen3.8-Flash-Next、K2 Horizon 等 8 个模型支持。
vLLM 发布 v0.29.0，Model Runner V2 成为所有模型的默认运行路径，MRV1 转为弃用并计划在 v0.32 移除。
推荐理由：原文给出 v0.29.0 变更清单，Model Runner V2 转为默认、MRV1 定于 v0.32 移除，维护部署的读者可据此安排升级。
SGLang 发布 v0.5.19，合入 214 位贡献者的 786 个 PR，新增 beam search（请求传 beam_width 即返回 n 条最优序列），并将统一 radix tree 设为所有模型的默认缓存。
推荐理由：版本将统一 radix tree 设为默认缓存并新增 beam search，附各硬件实测性能数字，自部署推理服务的人可据此评估升级收益。
vLLM 发布 v0.28.0，包含来自 270 位贡献者的 584 个提交，其中 76 位是新贡献者。
vLLM v0.27.0 发布，包含来自 242 位贡献者的 561 个 commit，其中 64 位为新贡献者。
vLLM 发布 v0.26.0，收录 212 位贡献者的 411 个 commits，含 61 位新贡献者。该版本为 Inkling 模型家族提供完整支持栈，包括 MTP=1 speculative decoding、LoRA 与 ModelOpt NVFP4 量化等。DeepSeek-V4 性能跨厂商优化，专用路由 kernel 实现 2.94% E2E TPOT 改善。
Apple 在 GitHub 提供 coreai-models 仓库，包含面向端侧 AI 的模型导出配方、Python 原语与 Swift 运行时工具。
axolotl-ai-cloud 在 GitHub 上发布 dflash-mlx 项目，基于 MLX 框架在 Apple Silicon 上实现精确投机解码。该项目由 MLX 驱动，面向 Apple Silicon 平台提供 exact 投机解码能力。
modelscope 的 MCore-Bridge 项目为前沿大模型提供 Megatron-Core 模型定义，让 Megatron 训练像 Transformers 一样简单。项目支持 300+ 大语言模型（含 Qwen3-Next、GLM-5.3、Deepseek-V4、MiniMax-2.7 等）和 200+ 多模态大模型（含 Qwen3.8、Qwen3-Omni、Gemma4 等）。
飞桨框架 PaddlePaddle 3.3.0 发布，重点升级大模型训练效率与国产硬件适配。FlashMaskV3 单卡性能最高领先 FlexAttention 2.1 倍、分布式算子性能较 Megatron-LM 快 80%，FlexCheckpoint 权重转换性能领先 Megatron-LM 1.2 倍以上。
keras-team 的 Kinetic 支持用单个 Python 装饰器在云端 TPU 和 GPU 上无缝运行机器学习工作负载，无需基础设施管理。该项目托管在 GitHub 上，仓库为 keras-team/kinetic。
黄仁勋在 CES 2026 主题演讲宣布 NVIDIA Rubin 平台全面投产，这是其首个极致协同设计的六芯片 AI 平台，目标将 token 生成成本降至上一代平台的约十分之一。
阿里云 Tair KVCache 是一套面向 LLM 推理的高性能 KVCache 系统，托管在 GitHub 的 alibaba 组织下。系统包含全局缓存管理组件和推理模拟组件 HiSim 等多个模块。
AI21 Labs 在 GitHub 发布 auto-tuning-vllm，用于自动调优 vLLM 的 LLM 部署性能。该项目组合 vLLM、GuideLLM 与 Optuna 三个工具，帮助用户获得 LLM 部署的最佳性能。
OpenAI、Runway 等领先 AI 开发者都在 NVIDIA 全栈 AI 基础设施上训练和部署前沿模型。OpenAI 12 月发布的 GPT-5.2 由 Hopper 与 GB200 NVL72 训练部署，2 月发布的 GPT-5.3 Codex 完全由 GB200 NVL72 训练和服务。