跳到正文
10月22日周四
10月21日周三
  1. vLLM 官方博客66

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming,统一支持 Turing 起的各代 NVIDIA GPU、CUDA 兼容设备 T-Head Zhenwu 810E,覆盖稠密与 MoE 的多类权重量化组合。

    推荐理由:原文给出从 Turing 到 Blackwell 各代 GPU 的量化推理提速数据和 vLLM 0.29.0 的启用方式,读者可对照部署硬件评估收益。

  2. Amazon Science41

    Amazon 通过 AVERI 第三方独立评审强化 AI 安全评估

    Amazon 与独立非营利机构 AVERI 合作,对内部 AI 安全评估数据集开展第三方独立评审,检验评估本身的质量而非仅测模型输出。评审确认风险类别覆盖全面、测试方式多样、预训练污染风险低,并建议扩充多语言覆盖、增加多步对抗性提示词。Amazon 已据此更新测试集、引入分级难度框架、建立季度评审机制,并将多语言提示词扩展至所有风险类别。

  3. Interconnects59

    开源动态第25期 盘点 DeepSeek V4.1 Flash 1017、美国本土开源模型与中美监管新规

    本期开源动态盘点了近一周开放权重生态的关键动向,核心是中美监管新动作与 DeepSeek 的两连发。商务部(MOFCOM)提出前沿模型国际共享前须政府事先审批的政策提案,开源技术拟设自动审批通道;美国国土安全部(DHS)则下令将 DeepSeek 及其模型排除出联邦民用采购。

  4. OpenAI · 失准报告与通报44

    OpenAI 提出 g-mean² 之外的可监控性补充指标

    OpenAI 提出 g-mean² 之外的两个可监控性补充指标。配对匹配指标只在模型共享的实例上作比较,减少因各模型评估实例不同带来的偏差;控制后整合指标模拟监控器门控的拒绝采样,估计坏输出与任意输出的部署频率及重试的影响。对干预型评估还推导出 g-mean² 下界,与原上界并报,显式化因果归因的不确定性。

10月20日周二
  1. Mistral AI60

    Mistral 发布 Voxtral 3 语音模型系列与语音代理 SDK

    Mistral 发布 Voxtral 3,包含新一代语音转写与语音合成模型系列和一个语音代理 SDK,今日起可通过 Mistral API(欧洲、美国和全球端点)使用,并支持自部署以控制音频数据。

    推荐理由:原文附定价表和多组转录、TTS 对比基准,想搭建语音代理的读者可据此估算成本并权衡 API 与自部署。

  2. Waymo · Blog62

    Waymo 宣布进入西班牙马德里大区,计划 2027 年迎接首批自动驾驶网约车乘客

    Waymo 宣布在西班牙马德里大区启动全自动驾驶网约车服务的落地准备,目标 2027 年迎接首批乘客,未来几天其电动 Jaguar I-PACE 车辆将出现在当地街头。

    推荐理由:原文交代了从人工驾驶到自动驾驶验证的分阶段落地节奏,并结合安全数据展示了其进入新市场的路径。

  3. GitHub Blog · AI & ML50

    如何在 VS Code 中继续 GitHub Copilot 应用会话

    GitHub Copilot 应用会话可以直接在 VS Code 中打开并继续,对话、代码改动和工作上下文原样保留。教程讲解通过 Open in VS Code 打开关联 worktree,逐行审查智能体改动、手动编辑并在本地运行测试的流程。完成的改动推送到原分支即可更新会话已关联的 pull request,无需重新描述任务。

  4. Google Developers Blog66

    Google 发布 TPU 上的 vLLM 与 SGLang 原生 PyTorch 推理引擎

    Google 在 TPU 上推出基于 TorchTPU 的原生 PyTorch 推理引擎 vLLM-TorchTPU 与 SGLang-TorchTPU,分别与 Inferact 和 RadixArk 合作开发,项目已在 GitHub 开源。

    推荐理由:为习惯 PyTorch 的开发者提供不经 JAX 后端直接在 TPU 上运行 vLLM 和 SGLang 的方式,并附公开基准的成本与吞吐数据。

  5. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan,发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。

10月19日周一
  1. Timothy B. Lee · Understanding AI66

    Benj Edwards 撰文称 AI 正在开启个人媒体时代

    Understanding AI 作者 Benj Edwards 结合亲身体验提出,AI 让音乐、游戏等创作不再依赖大众观众,正在开启一个个人媒体时代。他把约 50 段旧录音喂给 Suno 4.5 生成数百首不同风格的成品歌曲,还用 Claude Code 为自己制作了多款游戏。

  2. Microsoft · Official Blog44

    Microsoft:如何保障企业内部智能体的安全

    Microsoft 指出,企业内部智能体常被过度授权,不能因来自内部就默认可信,需要 24/7 持续监控。7 月宣布的 Project Perception 可约束这类智能体:为其分配身份与权限、动态计算风险,并由 Guardian Agents 监督每项操作。思维链等模型透明化不会取代遏制,但会让遏制更智能、更强。

  3. Google Developers Blog62

    Google 发布 LiteRT Tensor API,用 C++ 手工构建端侧模型

    Google 发布 LiteRT Tensor API,作为 LiteRT 栈中的轻量 C++ 建图层,支持逐算子构建计算图,同一计算图可在 CPU、GPU 与 NPU 上运行,也可经 XNNPACK 无模型文件直接在 CPU 执行。

    推荐理由:为需要手工控制模型的开发者提供折中路径,同一份 C++ 计算图可跑 CPU、GPU 和 NPU,免去按后端重写的工程量。