AI Agent 记忆:LLM 智能体在生产环境中如何管理状态
n8n 博客发布由 Cognee FDE 负责人 Veljko Kovac 撰写的客座文章,讲解 LLM 智能体在生产环境中如何管理状态:模型每次调用从零开始,记忆必须放在模型外部,由外部层存储、检索并拼回提示词。
n8n 博客发布由 Cognee FDE 负责人 Veljko Kovac 撰写的客座文章,讲解 LLM 智能体在生产环境中如何管理状态:模型每次调用从零开始,记忆必须放在模型外部,由外部层存储、检索并拼回提示词。
vLLM 官方宣布为 MiniMax-M3.1-Flash 提供 Day-0 支持,覆盖 NVIDIA Blackwell、Rubin(含专属 Rubin 内核)与 AMD MI350 系列 GPU,并提供 NVIDIA 和 AMD 两个预构建镜像。
推荐理由:原文按 Blackwell、Rubin 和 AMD 三类硬件给出内核级加速数据与 AgentX 基准结果,推理部署选型时可对照自身场景参考。
vLLM 团队发布性能研究,在单台 NVIDIA GB300 NVL72 上用 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash,跑 SemiAnalysis AgentX 达到每 GPU 954K tokens/s、P90 每用户 196 tokens/s,是此前单节点结果的 7.9 倍,成本 $38.96 每 GPU 小时。
Browser Use 官方博客刊出11款浏览器自动化工具的对比指南,将方案分为智能体、脚本库和云端浏览器三类,逐项给出能力、部署方式与定价。
推荐理由:原文按智能体、脚本和云端浏览器三类对比11款浏览器自动化工具的场景与定价,方便读者按任务类型选型。
vLLM 团队在两台 8× H200 节点组成的 P/D 分离部署中,用 PCP8 × DCP8 prefill 加 Hybrid HiSparse decode 服务 GLM-5.3,相同吞吐下每用户交互速度达到 DP8 部署的 1.7–3.2 倍,且是所测配置中唯一能服务 1M token 上下文的方案。
PyTorch Conference North America 2026 于 10 月 20–21 日在圣何塞举办,吸引 3500 多名参会者,会议期间集中发布多项 PyTorch 生态更新。
Amazon 本周宣布开源 TorchNeuron,这个 PyTorch 后端可将 PyTorch 代码翻译为可在 AWS Trainium 系统上执行的操作,已有代码几乎无需修改即可运行。
n8n 团队发布指南,拆解 AI 智能体工作流的幻觉检测方法,将幻觉分为事实性、上下文性、虚构和自相矛盾四类,并指出每类失败模式需要不同的检测手段。
AI 智能体构建中,有状态架构在交互间保留对话历史等上下文,无状态架构则独立处理每个请求,这一设计决定系统的扩展性与容错性。LLM 本身不会跨推理请求自动保留对话,智能体需在模型外存储状态并注入后续请求来实现记忆。n8n 提供 memory nodes 与 state stores 两种方式,工程团队可按需选择智能体状态的存放位置。
n8n 博客发文讲解如何用混合工作流在自托管 LLM 与云端 API 之间按规则分流请求。
Pydantic AI 新增 E2B 原生沙盒支持,智能体加上 E2BSandbox() 能力后,每条 shell 命令和文件操作都在隔离的 E2B microVM 中运行,不触及用户本机环境。
推荐理由:原文展示编码智能体命令如何在隔离沙盒中运行,并给出多轮任务间暂停恢复与进程崩溃后继续的完整示例。
PyTorch 团队发布 TorchTitan 重大更新,新增对 Qwen3.5、Qwen3-VL、Kimi K2.7、Kimi K3、DeepSeek-V4、Muse Spark Open、Muse Glimmer 等开放权重模型的 5D 并行完整训练栈支持。
SemiAnalysis 发布长文,分析 9 月 30 日 DeepSeek 为 TileLang、DeepGEMM、DeepEP、FlashMLA 等 6 个仓库加入 Ascend 支持背后的华为与 DeepSeek 互补关系。
Google 宣布 API Gateway 流式支持进入 Public Preview,SSE、WebSockets、gRPC streaming 等模式无需改动现有 API 契约即可启用。
Commerce.com 与 Cloudflare 为近 100,000 个店铺开启 Google 实验性浏览器标准 WebMCP,AI 智能体可直接调用 search_products 等结构化工具,不再模拟人类点击网页。
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E,覆盖稠密与 MoE 的多类权重量化组合。
推荐理由:原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式,读者可对照部署硬件评估收益。
vLLM 首日支持 Recursive 新模型 Flint,NVFP4 与 BF16 两种权重均可在单张 GPU 上运行,单张 GB200 上 100K 上下文的单请求解码约 500 tokens/s。
Google Agents CLI 自 1.5.0 起内置扩展系统,开发者无需分叉工具即可覆写或新增命令,1.8.0 附带第一方 LangChain 扩展。
Mistral 发布 Voxtral 3,包含新一代语音转写与语音合成模型系列和一个语音代理 SDK,今日起可通过 Mistral API(欧洲、美国和全球端点)使用,并支持自部署以控制音频数据。
推荐理由:原文附定价表和多组转录、TTS 对比基准,想搭建语音代理的读者可据此估算成本并权衡 API 与自部署。
Lovable 发布企业级功能 10 月汇总,面向大公司的集中管控与自有云部署需求,Deploy on AWS 与 Deploy on Azure 开启私测,应用与数据可运行在企业自有云账户并经 VPC 或 VNet peering 访问内部系统。
Cursor 宣布 Agent SDK 正式可用,开发者可将 Agent 定义为一个代码文件夹,用 evals 测试后部署到 Cursor 或自有基础设施。
推荐理由:原文给出从初始化、评测到部署的完整命令链,开发者可以照此在本地与 CI 里跑通一个 Agent 项目。
Cloudflare 复盘其 AI 代码评审系统的推理降本过程,9 月中旬开始优化后平均单次评审成本从 $2.43 降到 $0.77,降幅 68%,中位耗时从 4m 09s 缩短到 1m 32s。
Google 宣布 Coral NPU 边缘 AI 开放标准达成三项里程碑:32-bit 架构随 Milestone 4 Matrix Execution Unit 完成。
Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU,分别与 Inferact 和 RadixArk 合作开发,项目已在 GitHub 开源。
推荐理由:为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式,并附公开基准的成本与吞吐数据。
Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。
推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。
Arm 为 Google AI Edge Model Explorer 开发支持 TOSA、VGF、PTE 格式的开源适配器,让边缘模型编译转换可可视化调试。团队借此发现 ExecuTorch Arm 后端在 NSS 模型 VGF 图中引入的多余 TRANSPOSE 算子,并用分屏视图核对 Ultralytics YOLO 模型向 Arm Ethos-U85 NPU 的委托。
Meta 分享其数据管道 Agent 的 thin orchestrator 架构经验:一个约 1300 行的编排器只负责路由和可靠性检查,把 20+ 工作流分派给 14 个上下文隔离的专用子智能体。
SGLang 发布 v0.5.22 版本,包含来自 245 位贡献者的 950 个 PR,新增 Clef、EmbeddingGemma 2、LLaDA2.2、HunyuanImage-3.0-Instruct、Kandinsky 6、Wan-Animate-2、SANA-Video 2.0 等模型支持。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上架,用户可在本地或 Ollama 云端运行。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议发布,支持文本、JSON 和图像输入,一次读取输入即可同时对所有问题的答案打分,并兼容 Jev 与 System One API。
Together AI 推出 Together Post-Training 服务,开发者可在平台上用环境奖励 RL 或 SFT 数据训练自定义模型。训练循环由用户定义,支持多个 LoRA adapter 共享 GPU 和全参数训练,首批开放 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B。
Google 发布 LiteRT Tensor API,作为 LiteRT 栈中的轻量 C++ 建图层,支持逐算子构建计算图,同一计算图可在 CPU、GPU 与 NPU 上运行,也可经 XNNPACK 无模型文件直接在 CPU 执行。
推荐理由:为需要手工控制模型的开发者提供折中路径,同一份 C++ 计算图可跑 CPU、GPU 和 NPU,免去按后端重写的工程量。
vLLM 发布 v0.32.0,包含 363 位贡献者的 814 项提交,新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。
推荐理由:本次集中改进低精度 KV cache、启动速度和 API 负载均衡,并修复多个安全问题,自行部署推理服务的读者可据此评估升级收益。
Replit 推出 Bring Your Own Cloud(BYOC),企业可在 Azure、Google Cloud 或 AWS 自己的云租户中运行开发与生产环境。
Pydantic 介绍 Logfire 团队 9 月 1 日起将 GitHub Actions 迁移到 RunsOn,由其在其 AWS 账户内启动临时 EC2 runner。
推荐理由:AI 让 PR 数量翻数倍后 CI 账单随之失控,作者分享了迁到 RunsOn 后成本从 18200 美元降到 5700 美元的可迁移经验。
Lovable 推出 Deploy on Azure 私有预览,企业可将应用及数据运行在自己的 Azure 订阅内,编辑器和智能体仍留在 Lovable。应用组件部署在客户订阅的专用 VNet 内的 AKS 集群,数据库采用 Azure Database for PostgreSQL,并通过 VNet peering 访问内部系统。
Apple 机器学习研究团队发布教程,演示用最新版 MLX 与 RDMA over Thunderbolt 在 Mac Studio 上本地及跨机运行大模型推理,816B 参数的 MoE 模型 Muse Spark Open 在四台 M5 Ultra 上生成速度达 36.73 tokens/s。
推荐理由:原文在同一基准下对比 M3 Ultra 与 M5 Ultra 单机及多机并行的表现,读者可据此估算在 Mac Studio 上本地运行大模型所需的机器数量与速度。
Google 官方介绍重构后的 google/adk-recipes 仓库,作为 ADK 内容的唯一来源,分为 core/(参考模式)、plugins/(符合 Agent Plugins v1.0.0 规范的可安装垂直技能)和 contrib/(五语言端到端可部署服务)三层。
Google Developers Blog 发布 AI 智能体评估实操指南,主张用可复现的评估流程取代手动 vibe check,并配套开源 agent-eval 工具包。
推荐理由:原文把智能体评估拆成 Day 0 到 Day 2 的渐进落地路径,并总结了四个常见测试陷阱,可以对照自查现有评估流程。
GitHub 在官方博客详解其新的密钥检测模型:管线先用正则高召回生成候选,再由微调的 ModernBERT 结合文件路径、变量名和周边代码判断候选是否为真实密钥,取代此前基于 LLM 的分类管线。
Ollama 宣布 Ollama Cloud 通过全新的 Ollama Connector 接入 Fly.io Sprites,AI Agent 可在沙箱化的完整 Linux 虚拟机中安全调用云模型。