跳到正文
10月22日周四
  1. Ai2 / Allen Institute for AI61

    Ai2 发布卫星嵌入模型 OlmoEarth v1.3,附全球预计算嵌入与 Embeddings Explorer 工具

    Ai2 发布卫星嵌入模型 OlmoEarth v1.3,同时开放全球年度预计算嵌入向量与免登录的 Embeddings Explorer 浏览器工具。

    推荐理由:原文给出27项评测对比成绩,配免登录的全球嵌入向量和浏览器工具,遥感任务从小时级微调变成秒级初探。

  2. Ai2 / Allen Institute for AI45

    Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 扩展至六个热带地区

    Ai2 发布作物测绘基准 PLANTEUR,将 PASTIS 基准扩展到留尼汪等六个热带地区。数据包含 2,750 条对齐的 Sentinel-2、Sentinel-1 与 Landsat-8 时间序列,及 4,506 km² 地块标签,覆盖甘蔗、香蕉、菠萝等 7 类作物。各模型在训练未见过的岛屿上准确率约损失一半,基准已在 Hugging Face 和 GitHub 开放。

10月20日周二
  1. Google Developers Blog66

    Google 将 TorchTPU 集成进 TorchTitan,发布面向 Cloud TPU 的大模型训练与优化方案

    Google 发布 TorchTitan TPU,借助新推出的 TorchTPU 原生后端(torch.device("tpu")),PyTorch 训练脚本只需少量设备初始化改动即可在 Cloud TPU 上训练,分支仓库为 https://github.com/google-pytorch/torchtitan/,由 Google 与 Meta 共同加入 TPU 原生执行。

    推荐理由:原文给出按顺序执行的 TPU 训练优化清单,并用三个模型的案例标出每步改动换来的 MFU 或吞吐提升,便于迁移到自己的训练任务。

10月19日周一
10月14日周三
  1. Apple Machine Learning Research55

    Apple 在 NeurIPS 发表三模态掩码扩散模型设计空间研究

    Apple 研究团队在 NeurIPS 发表论文,提出首个从零预训练的三模态掩码扩散模型,训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响,给出基于 SDE 的重参数化以解耦物理与逻辑批次大小,免去批次大小调优。

10月13日周二
  1. Apple Machine Learning Research46

    混合而非调参:Apple 研究显示数据受限场景下双语预训练优于超参数搜索

    Apple 研究发现,数据受限预训练中混入高资源语言数据比超参数调优提升更大,且差距随模型规模扩大。实验覆盖 150M 至 1.43B 四个模型规模、约 1000 次预训练运行,以阿拉伯语为目标、英语为辅助。混合等效于 2–3 倍唯一目标数据的验证损失增益和 2–13 倍下游准确率增益,建议优先调混合比例并用 μP 迁移超参数。

10月10日周六
  1. Interconnects52

    Nathan Lambert 预判 AI 将快速进步但不会走向通用超级智能

    Nathan Lambert 撰文判断,AI 基础设施与工程能力未来几年将大幅加速,但这不会让模型在性质上发生剧变,也不指向通用超级智能。他认为近期进展主要来自用现有工具扩展推理时算力,模型智能的有效成本将接近指数级下降,并预测预训练研究中的架构与数据选择在 2-3 年内实现自动化。

10月7日周三
  1. OpenAI · 失准报告与通报60

    OpenAI 研究 o3 模型中的元博弈潜变量,发现其由多个重叠内部机制构成

    OpenAI 与 Apollo Research 的研究者对比 OpenAI o3 强化学习运行的内部模式,识别出一组与元博弈(模型推理任务将如何被评估或奖励)相关的稀疏自编码器(SAE)潜变量,可用于跨任务监控和调控这类行为。

    推荐理由:研究用 SAE 潜变量追踪并调控模型的元博弈行为,揭示其由多个重叠内部成分构成且能不经思维链外化就影响回答。

9月28日周一
  1. 科学空间41

    慢即是快:1. Shampoo 的尽头是 Muon?

    类似 Shampoo 的 Kronecker 积预条件优化器,其理想极限可能都是 Muon,花大代价构造的预条件矩阵可能是“无用功”。Muon 已流行一段时间,虽未完全取代 Adam 但极具竞争力,KL-Shampoo、OKLS、PSGD、SOAP 等 Shampoo 变体均声称获得了比 Muon 更好的结果。这一判断从凸性假设下的平均收敛结论推出。

9月12日周六
9月9日周三
8月15日周六
7月26日周日
7月21日周二
  1. OpenAI · 失准报告与通报74

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法测量模型奖励寻求倾向

    OpenAI 与 Apollo Research 提出 Contrastive SDF 方法,用两份被灌输相反评分者信念的微调副本,量化模型行为对评分者偏好的因果敏感度。

    推荐理由:原文给出把奖励寻求量化为行为对评分者信念敏感度的测量方法,并显示该倾向随强化学习训练增强。

7月18日周六
6月29日周一
  1. Meta AI Blog63

    Meta 发布 Brain2Qwerty v2:非侵入式脑信号解码词准确率达 61%

    Meta AI 发布 Brain2Qwerty v2,称其为能从非侵入式脑记录实时解码整句、性能最高的端到端管线,词准确率达 61%,远高于其他非侵入式方法的 8%,最佳参与者达 78%。

    推荐理由:原文给出非侵入式解码与手术植入方案的准确率对比,读者可以据此判断数据规模扩大后这条无创路线还能走多远。

6月24日周三
6月19日周五
  1. OpenAI · 失准报告与通报64

    OpenAI 研究表明有益特质强化学习可带来广泛且持久的对齐改进

    OpenAI 发表对齐研究,发现针对诚实、认知谦逊、可纠正性等有益特质的强化学习在 53 个内部与外部评测中的 44 个上优于同等算力基线,改进覆盖欺骗、奖励劫持、健康与心理健康等方向。这些改进可跨域泛化,仅在健康对话上训练也提升了非健康领域的对齐评测,剔除健康与科学数据后健康评测仍然改善。经过该训练的模型在对抗提示与有害微调下更难被引向有害行为,同时对正常有益指令仍保持可引导。

    推荐理由:原文给出跨域与对抗压力下的实验证据,读者可据此判断有益特质强化学习能带来多大范围的可泛化对齐改进。

6月9日周二
6月6日周六
5月8日周五
3月16日周一
  1. GitHub Org · modelscope45

    modelscope MCore-Bridge:让 Megatron 训练像 Transformers 一样简单,支持 300+ 大语言模型与 200+ 多模态模型

    modelscope 的 MCore-Bridge 项目为前沿大模型提供 Megatron-Core 模型定义,让 Megatron 训练像 Transformers 一样简单。项目支持 300+ 大语言模型(含 Qwen3-Next、GLM-5.3、Deepseek-V4、MiniMax-2.7 等)和 200+ 多模态大模型(含 Qwen3.8、Qwen3-Omni、Gemma4 等)。

1月31日周六
  1. PaddlePaddle Releases44

    PaddlePaddle 3.3.0 发布说明

    飞桨框架 PaddlePaddle 3.3.0 发布,重点升级大模型训练效率与国产硬件适配。FlashMaskV3 单卡性能最高领先 FlexAttention 2.1 倍、分布式算子性能较 Megatron-LM 快 80%,FlexCheckpoint 权重转换性能领先 Megatron-LM 1.2 倍以上。

2025年12月18日周四
2025年12月12日周五
2025年11月26日周三