Apple Machine Learning Research·· 26 天前AI 评分46
混合而非调参：Apple 研究显示数据受限场景下双语预训练优于超参数搜索
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
AI 导读
Apple 研究发现，数据受限预训练中混入高资源语言数据比超参数调优提升更大，且差距随模型规模扩大。实验覆盖 150M 至 1.43B 四个模型规模、约 1000 次预训练运行，以阿拉伯语为目标、英语为辅助。混合等效于 2–3 倍唯一目标数据的验证损失增益和 2–13 倍下游准确率增益，建议优先调混合比例并用 μP 迁移超参数。
来源：Apple Machine Learning Research · machinelearning.apple.com