Dion3：全栈正交更新优化器，提速6倍

Muon优化器因其三次时间复杂度的Newton-Schulz正交化步骤而产生了显著的开销。当权重被分片时，通信开销进一步加剧了这种计算成本，在许多场景下削弱了Muon的优势。我们提出了Dion3，这是对Muon的改进版本，旨在从堆栈的每一层解决这一开销问题。我们的Gram Newton-Schulz算法降低了正交化的FLOP成本，我们的CuteDSL内核通过利用对称性加速了正交化，而我们的megabatching策略减少了通信开销。此外，我们提出了一种对更新规则的简单修改，进一步降低了成本：每一步仅选择动量矩阵的一部分行进行正交化。这一更新规则在速度和性能上都优于Dion（Muon的另一种“压缩”版本）。总体而言，Dion3在损失上达到或优于Muon，但将优化器步骤时间减少了最多6倍。Dion3可通过dion包（https://github.com/microsoft/dion）获得，作为Muon的直接替代品。