跳到正文
科学空间· 苏剑林·· 2026-09-28AI 评分41

慢即是快:1. Shampoo 的尽头是 Muon?

慢即是快:1. Shampoo的尽头是Muon?

AI 导读

类似 Shampoo 的 Kronecker 积预条件优化器,其理想极限可能都是 Muon,花大代价构造的预条件矩阵可能是“无用功”。Muon 已流行一段时间,虽未完全取代 Adam 但极具竞争力,KL-Shampoo、OKLS、PSGD、SOAP 等 Shampoo 变体均声称获得了比 Muon 更好的结果。这一判断从凸性假设下的平均收敛结论推出。

来源:科学空间 · spaces.ac.cn