让每一字节发挥更多性能：NVIDIA 全栈协同设计如何化解 AI 内存挑战
NVIDIA 以 GPU、CPU、网络、存储与软件的全栈协同设计化解 AI 工厂的内存压力：从 Blackwell Ultra 到 Vera Rubin 平台，每 GPU HBM 容量仅增约 3%，SemiAnalysis AgentX 上每美元智能体吞吐量最高提升 30x。
#推理
NVIDIA BlogAI 评分4343
Hugging Face BlogAI 评分5353 StateBench 基准测试语言模型在长文档中的状态追踪能力
Ai2 推出 StateBench 基准，用四个难度层级衡量语言模型在长文档中追踪实体状态变化的能力，并公开了论文、数据与代码。
Ai2 / Allen Institute for AIAI 评分5050 StateBench：测试语言模型如何追踪长文档中的状态变化
Ai2 推出 StateBench 基准，以四个难度层级测试语言模型追踪长文档状态变化的能力。在这些任务上直接训练时，带 Gated DeltaNet 层的循环与混合架构泛化远超 Transformer。Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 等前沿模型随输入变长，仍在更难的状态追踪任务上失效。
Google Developers Blog精选AI 评分6262 Google 用轻量分类器路由 Gemini 模型与思考级别以降低每任务成本
Google Developers Blog 介绍以每成功任务成本而非每 token 价格衡量 coding agent 经济性，并把 TypeSafe 的 Jev 分类器接在 Google Antigravity 的模型调用前做路由。
推荐理由：Google 官方用 50 题基准实测轻量分类器路由 Gemini 模型的成本收益，给出了可复用的路由方法和三条落地规则。
Amazon ScienceAI 评分4040 Amazon Science 如何用知识蒸馏与 Medusa 加速旅行应用的大语言模型
Amazon Science 与 Booking.com 合作，用知识蒸馏和 Medusa 框架加速旅行应用中的大语言模型。实验以 1.1B 参数的 TinyLlama 为学生、70B 参数的 Llama-3.1 为教师，最终模型匹配教师质量，推理提速 10-20 倍，成本不到三分之一。方案面向 AI Trip Planner、Smart Filters 和住宿描述生成三项功能。
Mistral AI精选AI 评分8181 Mistral 开放 Mistral Large 4（Le Chonk）模型权重，主打智能体编码与防御安全
Mistral 发布 Mistral Large 4（Le Chonk）开放权重，这款 1 万亿参数、原生多模态模型本月早些时候曾以公开预览形式发布，经三周强化学习后在 FrontierCode 2.0 得分 19.7%、Terminal-Bench 4.0 得分 41%，居开源权重模型首位，并在 Artificial Analysis Cyber Index 得分 51%。
推荐理由：原文给出编码与防御安全的多项基准成绩、三档推理模式与定价，可帮助开发者评估自托管开源模型的能力与成本取舍。
vLLM 官方博客精选AI 评分7373 vLLM 推出对 Mistral Large 4 的 Day 0 支持
vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持，FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。
推荐理由：原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比，读者可据此为不同硬件规模选择部署配置。
Google DeepMind精选AI 评分7777 Google DeepMind 发布 Gemini 4 Carbon，主打网络安全与长程智能体能力
Google DeepMind 发布新前沿模型 Gemini 4 Carbon，称其为其最强模型，主打网络安全与长程智能体能力，在 Artificial Analysis Intelligence Index v5.0 以 59 分排名第一。
推荐理由：原文完整给出安全基准成绩、分阶段开放节奏和定价，读者可以据此评估它在编码与网络安全场景的适用性。
Google Research 博客精选AI 评分6161 Google Research 提出睡眠框架，让大语言模型在持续学习中保留知识
Google Research 提出持续学习中的睡眠框架，让大语言模型在活跃交互与离线睡眠之间交替，把脆弱的短期记忆固化为长期参数记忆，同时缓解灾难性遗忘。睡眠阶段包含记忆巩固与做梦两部分，通过解锁 MoE 记忆块、结合 GKD 与强化学习的知识注入，以及随机专家选择和梯度筛选合成样本来实现自我提升。
推荐理由：原文给出睡眠框架在持续翻译、长上下文和数学推理上对比 ICL、SFT 等基线的实验结果，可了解缓解灾难性遗忘的一种新思路。
Google Developers Blog精选AI 评分6666 Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎
Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU，分别与 Inferact 和 RadixArk 合作开发，项目已在 GitHub 开源。
推荐理由：为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式，并附公开基准的成本与吞吐数据。
vLLM Releases精选AI 评分6060 vLLM 发布 v0.32.0，包含 814 项提交与多项安全修复
vLLM 发布 v0.32.0，包含 363 位贡献者的 814 项提交，新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。
推荐理由：本次集中改进低精度 KV cache、启动速度和 API 负载均衡，并修复多个安全问题，自行部署推理服务的读者可据此评估升级收益。
Apple Machine Learning ResearchAI 评分4444 Selection-Based Structured Reasoning：迈向高效多模态搜索智能体
Apple 研究团队提出 Selection-Based Structured Reasoning（SSR）框架，将多模态搜索智能体的逐步推理从开放式生成改为从预置候选中选取。在 2B 和 4B 模型、七个多模态搜索基准上的评估显示，SSR 平均成功率与同规模领先搜索智能体相当，单轮推理延迟降低逾 90%，每题总模型推理延迟降低 28–54%。
Google AI Blog精选AI 评分8383 Google 发布 Gemini 4 Argon 前沿模型，面向开发者与企业全球开放
Google 全球开放前沿模型 Gemini 4 Argon，开发者可通过 Gemini API 在 AI Studio 使用，Google AI Ultra 与 Pro 订阅用户可在 Gemini 应用、搜索 AI Mode 及 Antigravity 中体验。
推荐理由：原文以 Chrome 重构等内部工程数据说明模型落地效果，读者可以据此评估它在复杂编码与科研任务上的可用性。
Microsoft · Official Blog精选AI 评分6767 Microsoft 宣布 Azure Maia 系统扩展至多吉瓦级部署，Maia 300 将于 2027 年推出
Microsoft 宣布从 2027 年起将 Azure Maia 家族扩展至多吉瓦级部署，并使 Maia 成为 Microsoft 产品与服务的主要推理系统。
推荐理由：原文给出 Maia 300 每兆瓦 token 效率和机架吞吐的具体数字，读者可据此比较微软自研芯片与 GPU 方案的定位。
SGLang ReleasesAI 评分5757 SGLang v0.5.20 发布，新增 8 个模型支持与采样掩码等特性
SGLang 发布 v0.5.20，合入来自 237 位贡献者的 713 个 PR，新增 GLM-5.3-Flash、Qwen3.8-Flash-Next、K2 Horizon 等 8 个模型支持。
GitHub · vLLM ReleasesAI 评分5151 vLLM v0.28.0 发布，重点优化 Kimi-K3 推理性能
vLLM 发布 v0.28.0，包含来自 270 位贡献者的 584 个提交，其中 76 位是新贡献者。
Moonshot AI / Kimi Research精选AI 评分8686 Moonshot AI 发布 2.8T 参数模型 Kimi K3
Moonshot AI 发布 2.8T 参数模型 Kimi K3，基于 Kimi Delta Attention 与 Attention Residuals，具备原生视觉能力和 100 万 token 上下文窗口。
推荐理由：原文同时给出基准对比、架构细节、API 定价与权重开放时间，读者可据此评估这款 2.8T 开源模型在编码与智能体工作里的可用性。
MiniMax Research BlogAI 评分5252 MiniMax 详解 MaxProof：用生成式验证器 RL 与进化搜索扩展 M3 数学证明能力
MiniMax 发布技术博客，详解 M3 数学证明能力背后的 MaxProof 框架，并称 M3 借此在 IMO 2025 与 USAMO 2026 上超过人类金牌线。
Berkeley AI ResearchAI 评分4040 Berkeley AI Research 深度解析自适应并行推理：高效推理扩展的下一个范式
Berkeley AI Research 发布长文综述并行推理领域进展，重点分析自适应并行推理（Adaptive Parallel Reasoning），让模型自主决定何时分解并行子任务、启动多少并发线程及如何协调。