跳到正文
10月23日周五
  1. vLLM 官方博客65

    vLLM 为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA 与 AMD 多款 GPU

    vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin(含专属 Rubin 内核)与 AMD MI350 系列 GPU,并提供 NVIDIA 和 AMD 两个预构建镜像。

    推荐理由:原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果,推理部署选型时可对照自身场景参考。

  2. Browser Use64

    11款浏览器自动化工具对比评测,覆盖智能体、脚本与云端浏览器方案

    Browser Use 官方博客刊出11款浏览器自动化工具的对比指南,将方案分为智能体、脚本库和云端浏览器三类,逐项给出能力、部署方式与定价。

    推荐理由:原文按智能体、脚本和云端浏览器三类对比11款浏览器自动化工具的场景与定价,方便读者按任务类型选型。

10月22日周四
  1. n8n Blog41

    有状态 vs 无状态:AI 智能体构建中的上下文管理

    AI 智能体构建中,有状态架构在交互间保留对话历史等上下文,无状态架构则独立处理每个请求,这一设计决定系统的扩展性与容错性。LLM 本身不会跨推理请求自动保留对话,智能体需在模型外存储状态并注入后续请求来实现记忆。n8n 提供 memory nodes 与 state stores 两种方式,工程团队可按需选择智能体状态的存放位置。

  2. Pydantic AI 官方文章65

    Pydantic AI 接入 E2B 原生沙盒,编码智能体命令隔离运行

    Pydantic AI 新增 E2B 原生沙盒支持,智能体加上 E2BSandbox() 能力后,每条 shell 命令和文件操作都在隔离的 E2B microVM 中运行,不触及用户本机环境。

    推荐理由:原文展示编码智能体命令如何在隔离沙盒中运行,并给出多轮任务间暂停恢复与进程崩溃后继续的完整示例。

10月21日周三
  1. vLLM 官方博客66

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E,覆盖稠密与 MoE 的多类权重量化组合。

    推荐理由:原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式,读者可对照部署硬件评估收益。

10月20日周二
  1. Mistral AI60

    Mistral 发布 Voxtral 3 语音模型系列与语音代理 SDK

    Mistral 发布 Voxtral 3,包含新一代语音转写与语音合成模型系列和一个语音代理 SDK,今日起可通过 Mistral API(欧洲、美国和全球端点)使用,并支持自部署以控制音频数据。

    推荐理由:原文附定价表和多组转录、TTS 对比基准,想搭建语音代理的读者可据此估算成本并权衡 API 与自部署。

  2. Google Developers Blog66

    Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU,分别与 Inferact 和 RadixArk 合作开发,项目已在 GitHub 开源。

    推荐理由:为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式,并附公开基准的成本与吞吐数据。

  3. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan,发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。

10月19日周一
  1. Google Developers Blog62

    Google 发布 LiteRT Tensor API,用 C++ 手工构建端侧模型

    Google 发布 LiteRT Tensor API,作为 LiteRT 栈中的轻量 C++ 建图层,支持逐算子构建计算图,同一计算图可在 CPU、GPU 与 NPU 上运行,也可经 XNNPACK 无模型文件直接在 CPU 执行。

    推荐理由:为需要手工控制模型的开发者提供折中路径,同一份 C++ 计算图可跑 CPU、GPU 和 NPU,免去按后端重写的工程量。

10月18日周日
  1. vLLM Releases60

    vLLM 发布 v0.32.0,包含 814 项提交与多项安全修复

    vLLM 发布 v0.32.0,包含 363 位贡献者的 814 项提交,新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。

    推荐理由:本次集中改进低精度 KV cache、启动速度和 API 负载均衡,并修复多个安全问题,自行部署推理服务的读者可据此评估升级收益。

10月16日周五
10月15日周四
  1. Apple Machine Learning Research65

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 上本地及多机运行大模型推理

    Apple 机器学习研究团队发布教程,演示用最新版 MLX 与 RDMA over Thunderbolt 在 Mac Studio 上本地及跨机运行大模型推理,816B 参数的 MoE 模型 Muse Spark Open 在四台 M5 Ultra 上生成速度达 36.73 tokens/s。

    推荐理由:原文在同一基准下对比 M3 Ultra 与 M5 Ultra 单机及多机并行的表现,读者可据此估算在 Mac Studio 上本地运行大模型所需的机器数量与速度。

10月14日周三
10月13日周二