Apple 在 NeurIPS 发表三模态掩码扩散模型设计空间研究

Apple 研究团队在 NeurIPS 发表论文，提出首个从零预训练的三模态掩码扩散模型，训练数据覆盖文本、图文和音频文本。论文系统分析多模态缩放规律、模态混合比例、噪声调度和批次大小影响，给出基于 SDE 的重参数化以解耦物理与逻辑批次大小，免去批次大小调优。