Dwarkesh Patel · Podcast & Blog· Dwarkesh Patel·2026-09-09 00:10· 2026-09-09AI 评分67

Dwarkesh 研究发现预训练进步主要来自数据而非模型改进

Pretraining progress is mostly coming from data

AI 导读

Dwarkesh Patel 发布受控训练实验研究，称 2019 至 2025 年预训练进步主要来自数据改进，在 1e19 FLOPs 预算下数据带来 12.0x 算力效率增益而模型改进仅 3.7x。