Ai2 发布卫星嵌入模型 OlmoEarth v1.3,附全球预计算嵌入与 Embeddings Explorer 工具
Ai2 发布卫星嵌入模型 OlmoEarth v1.3,同时开放全球年度预计算嵌入向量与免登录的 Embeddings Explorer 浏览器工具。
推荐理由:原文给出27项评测对比成绩,配免登录的全球嵌入向量和浏览器工具,遥感任务从小时级微调变成秒级初探。
Ai2 发布卫星嵌入模型 OlmoEarth v1.3,同时开放全球年度预计算嵌入向量与免登录的 Embeddings Explorer 浏览器工具。
推荐理由:原文给出27项评测对比成绩,配免登录的全球嵌入向量和浏览器工具,遥感任务从小时级微调变成秒级初探。
Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 基准扩展到留尼汪等六个热带地区。数据包含 2,750 条对齐的 Sentinel-2、Sentinel-1 与 Landsat-8 时间序列,及 4,506 km² 地块标签,覆盖甘蔗、香蕉、菠萝等 7 类作物。各模型在训练未见过的岛屿上准确率约损失一半,基准已在 Hugging Face 和 GitHub 开放。
Meta 介绍 GenRecs Tokenization,一种用稳定语义 token 词汇表取代逐条 ID 表示广告、产品等条目的基础数据表示方法。它与 Meta 的 Generative Ads Model(GEM)和 Adaptive Ranking Model 配合,在 2026 年 2 月内部数据中带来 +0.35% 的转化率提升。
Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。
推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。
Together AI 推出 Together Post-Training 服务,开发者可在平台上用环境奖励 RL 或 SFT 数据训练自定义模型。训练循环由用户定义,支持多个 LoRA adapter 共享 GPU 和全参数训练,首批开放 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B。
禾赛科技推出 Kosmo 3D 世界数据引擎,由全球首款 8K 超高清 AI 空间相机 Kosmo One 与云端平台 Kosmo World 组成,可将真实环境转为高保真 3D 数字空间。
Apple 研究团队在 NeurIPS 发表论文,提出首个从零预训练的三模态掩码扩散模型,训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响,给出基于 SDE 的重参数化以解耦物理与逻辑批次大小,免去批次大小调优。
GitHub 在官方博客详解其新的密钥检测模型:管线先用正则高召回生成候选,再由微调的 ModernBERT 结合文件路径、变量名和周边代码判断候选是否为真实密钥,取代此前基于 LLM 的分类管线。
Apple 研究发现,数据受限预训练中混入高资源语言数据比超参数调优提升更大,且差距随模型规模扩大。实验覆盖 150M 至 1.43B 四个模型规模、约 1000 次预训练运行,以阿拉伯语为目标、英语为辅助。混合等效于 2–3 倍唯一目标数据的验证损失增益和 2–13 倍下游准确率增益,建议优先调混合比例并用 μP 迁移超参数。
Redwood Research 发布论文,实证检验蒸馏不可信模型的两种安全用法。
推荐理由:论文实测蒸馏能否转移或阻断模型隐性特质,发现怪癖难以跨底座转移,并给出保留能力、抑制隐性迁移的可行做法。
Nathan Lambert 撰文判断,AI 基础设施与工程能力未来几年将大幅加速,但这不会让模型在性质上发生剧变,也不指向通用超级智能。他认为近期进展主要来自用现有工具扩展推理时算力,模型智能的有效成本将接近指数级下降,并预测预训练研究中的架构与数据选择在 2-3 年内实现自动化。
OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。
推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。
类似 Shampoo 的 Kronecker 积预条件优化器,其理想极限可能都是 Muon,花大代价构造的预条件矩阵可能是“无用功”。Muon 已流行一段时间,虽未完全取代 Adam 但极具竞争力,KL-Shampoo、OKLS、PSGD、SOAP 等 Shampoo 变体均声称获得了比 Muon 更好的结果。这一判断从凸性假设下的平均收敛结论推出。
Dwarkesh Patel 发布新一期播客,与 John Schulman、Beren Millidge 和 Charlie O'Neill 三位研究者辩论递归自我改进还有多远。
Dwarkesh Patel 发布受控训练实验研究,称 2019 至 2025 年预训练进步主要来自数据改进,在 1e19 FLOPs 预算下数据带来 12.0x 算力效率增益而模型改进仅 3.7x。
Sebastian Raschka 发布教程,从零构建一个输出 0-100 分的 AI 文本检测器,借此讲解此类检测器的工作原理,思路类似据其所知支撑 Substack AI 检测功能的 Pangram 模型。
Berkeley AI Research 提出 ABBEL 框架,让 LLM 用自然语言信念状态替代完整交互历史作为工作上下文。该框架借鉴递归贝叶斯估计,通过信念分级按能否重建最新观测来监督信念内容。
OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。
推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。
Sebastian Raschka 撰文解析 LLM 推理强度档位的原理,指出档位在推理时通常通过系统提示控制,训练上可采用档位条件化的 RLVR 或 RLVR 后按档位做 SFT 两条路径。
Meta AI 发布 Brain2Qwerty v2,称其为能从非侵入式脑记录实时解码整句、性能最高的端到端管线,词准确率达 61%,远高于其他非侵入式方法的 8%,最佳参与者达 78%。
推荐理由:原文给出非侵入式解码与手术植入方案的准确率对比,读者可以据此判断数据规模扩大后这条无创路线还能走多远。
Lilian Weng 长文解析深度学习 Scaling Laws:训练损失随模型规模 N、数据量 D、算力 C 呈幂律可预测下降,近似 C ≈ 6ND。文章讨论 Kaplan 与 Chinchilla 定律的调和、数据受限场景及现实拟合缩放定律的难点。实践中可用少量小规模运行拟合后外推,估算大模型所需 token 与算力。
OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。
推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。
MiniMax 发布技术博客,详解 M3 数学证明能力背后的 MaxProof 框架,并称 M3 借此在 IMO 2025 与 USAMO 2026 上超过人类金牌线。
Ahead of AI 整理出 2026 年 1 月至 5 月的 LLM 研究论文精选清单,按模型架构、推理效率与 KV Cache、强化学习与 RLVR、Agent 系统、扩散语言模型等类别编排。清单侧重推理模型、强化学习与高效推理,较 2025 年收录更多 Agent 框架、工具
Berkeley AI Research 发布长文综述并行推理领域进展,重点分析自适应并行推理(Adaptive Parallel Reasoning),让模型自主决定何时分解并行子任务、启动多少并发线程及如何协调。
fast.ai 联合创始人、Answer.AI 的 Rachel Thomas 在与 KAMI Think Tank 的访谈中指出,AI 在生命科学中的炒作常超前于实际科学理解,数据的类型与质量决定结果上限。
modelscope 的 MCore-Bridge 项目为前沿大模型提供 Megatron-Core 模型定义,让 Megatron 训练像 Transformers 一样简单。项目支持 300+ 大语言模型(含 Qwen3-Next、GLM-5.3、Deepseek-V4、MiniMax-2.7 等)和 200+ 多模态大模型(含 Qwen3.8、Qwen3-Omni、Gemma4 等)。
飞桨框架 PaddlePaddle 3.3.0 发布,重点升级大模型训练效率与国产硬件适配。FlashMaskV3 单卡性能最高领先 FlexAttention 2.1 倍、分布式算子性能较 Megatron-LM 快 80%,FlexCheckpoint 权重转换性能领先 Megatron-LM 1.2 倍以上。
阶跃星辰(StepFun)在 GitHub 开源了 SteptronOss,一个面向大语言模型的轻量级 AI 原生训练框架。该框架支持 SFT、RLVR 与评估工作流,主打快速迭代、可复现实验和模块化配置。
OpenAI、Runway 等领先 AI 开发者都在 NVIDIA 全栈 AI 基础设施上训练和部署前沿模型。OpenAI 12 月发布的 GPT-5.2 由 Hopper 与 GB200 NVL72 训练部署,2 月发布的 GPT-5.3 Codex 完全由 GB200 NVL72 训练和服务。
opendatalab 的 MinerU-HTML 是一款基于 SLM 的 HTML 正文内容提取器,可输出干净的 HTML 正文。该工具适用于 Deep Research 智能体、RAG 应用和训练数据生成等场景。