跳到正文
10月20日周二
  1. Google Developers Blog66

    Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU,分别与 Inferact 和 RadixArk 合作开发,项目已在 GitHub 开源。

    推荐理由:为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式,并附公开基准的成本与吞吐数据。

  2. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan,发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。

10月19日周一
  1. Google Developers Blog62

    Google 发布 LiteRT Tensor API,用 C++ 手工构建端侧模型

    Google 发布 LiteRT Tensor API,作为 LiteRT 栈中的轻量 C++ 建图层,支持逐算子构建计算图,同一计算图可在 CPU、GPU 与 NPU 上运行,也可经 XNNPACK 无模型文件直接在 CPU 执行。

    推荐理由:为需要手工控制模型的开发者提供折中路径,同一份 C++ 计算图可跑 CPU、GPU 和 NPU,免去按后端重写的工程量。

10月18日周日
  1. vLLM Releases60

    vLLM 发布 v0.32.0,包含 814 项提交与多项安全修复

    vLLM 发布 v0.32.0,包含 363 位贡献者的 814 项提交,新增 /v1/systemone 结构化端点和读取 checkpoint response_template 的通用 hf 工具与推理解析器。

    推荐理由:本次集中改进低精度 KV cache、启动速度和 API 负载均衡,并修复多个安全问题,自行部署推理服务的读者可据此评估升级收益。

10月16日周五
10月15日周四
  1. Apple Machine Learning Research65

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 上本地及多机运行大模型推理

    Apple 机器学习研究团队发布教程,演示用最新版 MLX 与 RDMA over Thunderbolt 在 Mac Studio 上本地及跨机运行大模型推理,816B 参数的 MoE 模型 Muse Spark Open 在四台 M5 Ultra 上生成速度达 36.73 tokens/s。

    推荐理由:原文在同一基准下对比 M3 Ultra 与 M5 Ultra 单机及多机并行的表现,读者可据此估算在 Mac Studio 上本地运行大模型所需的机器数量与速度。

10月12日周一
  1. Microsoft Source · AI59

    微软发布自研芯片 Maia 300,Azure Maia 系统将扩展至多吉瓦级部署

    微软发布最新自研芯片 Maia 300,并宣布将 Azure Maia 系统扩展至多吉瓦级部署。官方页面提供 Maia 300 架构深度解析视频,Scott Guthrie、Rani Borkar、Mustafa Suleyman 等高管分别介绍全栈 AI 优势、高效推理的系统方法与芯片模型协同设计。页面同时展示 Maia 300 服务器、系统、原型芯片与板卡图片,并提供行业分析师评论等延伸资源。

10月9日周五
10月8日周四
  1. Anthropic · Claude.dev 开发者博客73

    Anthropic 详解如何用 Claude Managed Agents 构建高效智能体自动化

    Anthropic 开发者博客发布教程,讲解如何用 Claude Managed Agents(beta)构建定时智能体自动化,示例按 cron 计划读取 Slack 频道和 GitHub pull requests,把每日简报推送回 Slack,参考实现代码随文提供。

    推荐理由:原文把定时智能体自动化的常见故障整理成六条规则,从书签续读、失败上报到发布确认与预算上限,方法可直接迁移到自己的自动化。

10月6日周二
  1. Anthropic · Claude.dev 开发者博客79

    Claude Code 云端会话实战指南:Anthropic 开发者博客详解云计算环境的用法与工作流

    Claude Code 云端会话在独立 VM 上运行,每个任务获得克隆到新分支的全新虚拟机,可从 claude.ai/code、移动端、Desktop、终端和 Slack 启动,Pro、Max、Team、Enterprise 计划无额外费用,只消耗原有用量额度。

    推荐理由:作者用四个真实云会话实测了 Claude Code 云端运行与本地会话的差异,并给出七类适用工作流和 GitHub 连接排错方法,便于迁移实践。

10月5日周一
  1. Cohere Blog47

    North 2:无需妥协的企业级 AI

    Cohere 发布迄今最大升级 North 2,把企业级安全、智能、成本治理与全栈控制统一到单一 agentic AI 平台。新版重构 agent 编排系统以支持多步自动化,内置 Skills、Libraries、Memory 与应用创建,且模型无关、可自带模型。

10月2日周五
9月30日周三
9月29日周二
  1. OpenClaw · Blog67

    OpenClaw 发布开源企业级智能体管控平台 OpenClaw Enterprise

    OpenClaw 发布开源、厂商中立的企业级智能体平台 OpenClaw Enterprise(OCE),用于在敏感环境中管理持久化智能体,现已可克隆仓库自托管,支持 docker-compose 本地开发和 kubernetes 内部部署。

    推荐理由:原文说明平台如何用多租户、硬安全边界和可替换组件让智能体进入企业环境,现阶段定位内部试点且已可自托管。

9月28日周一
  1. Anthropic · Claude.dev 开发者博客79

    Claude Sonnet 5.5 构建指南:何时选 Sonnet 而非 Opus、成本与调优

    Anthropic 当天开放 Claude Sonnet 5.5,官方称其比 Sonnet 5 更聪明、更高效且快 30%,单 token 价格不变,多数任务因更省 token 总成本最多低 30%。

    推荐理由:官方给出选型对照、逐条迁移清单和 effort 调参建议,从 Sonnet 5 升级的开发者可按清单直接改代码。

9月23日周三
  1. Cursor Changelog61

    Cursor 推出 Rollouts 和 Security Review 两款代码发布与安全审查机器人

    Cursor 推出 Rollouts 和 Security Review 两个机器人,分别监控代码部署后的健康度并在每个 pull request 上报告可利用漏洞,即日起面向 Teams 和 Enterprise 计划开放。

    推荐理由:原文给出两款 bot 的监控与审查机制、报告维度和计划开放范围,团队可以据此判断是否纳入现有发版流程。

9月22日周二
9月19日周六
9月16日周三
  1. goose 官方博客48

    goose 用可重入状态机取代经典智能体循环

    goose 将经典智能体循环替换为可重入状态机:持久化对话作为主状态,每类智能体行为编码为一个 Operation,按序检查、首个命中者生效,其效果持久化后从顶部重新开始。进程重启后可从最近持久化步骤继续,另一前端也能加载同一会话接续,代码更易测试与重构。模型提供商、扩展管理器与 hooks 仍是运行时依赖,外部副作用仍需谨慎处理。

9月12日周六
9月11日周五
9月9日周三
9月5日周六
  1. SGLang Releases62

    SGLang v0.5.19 发布,新增 beam search 与多款模型支持

    SGLang 发布 v0.5.19,合入 214 位贡献者的 786 个 PR,新增 beam search(请求传 beam_width 即返回 n 条最优序列),并将统一 radix tree 设为所有模型的默认缓存。

    推荐理由:版本将统一 radix tree 设为默认缓存并新增 beam search,附各硬件实测性能数字,自部署推理服务的人可据此评估升级收益。

9月2日周三
  1. Cursor Changelog64

    Cursor 推出自托管机器功能,工具执行可完全留在自有网络

    Cursor 推出自托管机器(self-hosted machines)功能,智能体的工具调用可在用户自有基础设施内本地执行,代码库、构建产物和密钥全部留在内部机器。

    推荐理由:原文说明了池化调度、休眠恢复与沙箱接入细节,读者可据此评估把代码和密钥留在自有内网的智能体部署方案。

8月26日周三
8月11日周二
8月8日周六
8月7日周五
7月29日周三