Lilian Weng 详解 Scaling Laws：缩放定律需谨慎对待

Lilian Weng 长文解析深度学习 Scaling Laws：训练损失随模型规模 N、数据量 D、算力 C 呈幂律可预测下降，近似 C ≈ 6ND。文章讨论 Kaplan 与 Chinchilla 定律的调和、数据受限场景及现实拟合缩放定律的难点。实践中可用少量小规模运行拟合后外推，估算大模型所需 token 与算力。