跳到正文
今天11月8日周日3 条
11月7日周六
  1. IT之家·人工智能55

    消息称因台积电产能吃紧,英伟达提供数十亿美元支持日月光扩产 CoWoS 先进封装

    据路透社报道,一位业内高管透露英伟达正提供数十亿美元资金,支持日月光投控旗下封测厂矽品精密扩充 CoWoS 先进封装产能,用于新无尘厂房扩建与设备采购。背景是台积电 CoWoS 产能吃紧倒逼芯片设计厂商另寻外援,该技术将处理器、内存等多块硅片置于共享基板互联,已被英伟达、AMD、博通及各大云巨头采用。

  2. AWS Machine Learning Blog65

    SageMaker Inference 新增 Multi-Instance GPU 分区以提升模型端点的 GPU 利用率

    Amazon SageMaker Inference 现已支持 GPU 分区,基于 NVIDIA Multi-Instance GPU(MIG)把一块物理 GPU 硬件隔离地划分为最多 7 个分区,使端点可承载的模型数量不再受 GPU 颗数限制。

    推荐理由:原文给出各 GPU 型号的分区档位和 H100 分区对整卡 A100 的实测对比,读者可据此为模型选择合适的 GPU 部署单元。

  3. IT之家·人工智能64

    消息称微软不再续签甲骨文 AI 算力租赁协议,并重新评估超 800 亿美元云合作

    据彭博社报道,微软已决定不再续签与甲骨文的 AI 算力租赁协议,并开始关闭部分租用的计算资源,这是其重新评估超 800 亿美元外部云合作的一部分。报道称甲骨文服务器使用较早一代英伟达 GPU,逐渐无法满足微软变化的技术规格,甲骨文回应 AI 基础设施需求依然强劲,微软拒绝置评。

11月6日周五
  1. InfoQ · AI/ML/Data50

    Google Cloud API Gateway 为实时与 AI 应用推出流式支持

    Google 宣布 Cloud API Gateway 流式支持进入公开预览,流式端点可部署在网关后并保留鉴权、监控等既有安全策略。该功能支持 SSE、WebSockets 和 gRPC 等流式模式,连接最长保持 1 小时。配合 model routing,可通过单一 OpenAI 兼容端点将请求路由到 Gemini、Claude 或 OpenAI gpt-oss 模型。

11月5日周四
11月4日周三
  1. Together AI Blog44

    Together AI 提出 Polymorphic Inference:面向开源模型的自调优推理

    Together AI 提出 Polymorphic Inference,用 AI 智能体自动调优其端点上开源模型的推理,称其为全球首个生产级递归自我改进(RSI)推理系统。该方案通过 Continuous Compilation 持续自优化,应对 OpenRouter 上 80% 流量流向近三个月发布新模型、排名前十开源模型架构各异的快速变化。目前已有 40+ 模型入选其生产体系。

11月3日周二
11月2日周一
11月1日周日
10月31日周六
10月29日周四
  1. vLLM 官方博客73

    vLLM 推出对 Mistral Large 4 的 Day 0 支持

    vLLM 官方宣布为 Mistral 新旗舰 MoE 原生多模态模型 Mistral Large 4 提供 Day 0 支持,FP8 与 NVFP4 权重均可通过 vllm/vllm-openai:mistral-large-4 镜像部署。

    推荐理由:原文在发布支持的同时给出 FP8 与 NVFP4 的质量速度实测对比,读者可据此为不同硬件规模选择部署配置。

10月28日周三
10月27日周二
  1. Together AI Blog47

    Together GPU Clusters 自动修复:从 GPU 故障到健康节点

    Together AI 详解 Together GPU Clusters 自动修复系统:健康检查持续监测每个节点,故障时推荐最轻量修复动作并附证据。用户可按单个 Xid 代码设置自动执行或人工审批,修复流程分检测、决策、修复、复验四步。被动健康检查、修复建议、自动修复策略现已正式可用,节点标签修复合约处于 Preview。

10月26日周一