解耦DiLoCo：分布式AI训练新前沿

Google DeepMind 提出解耦 DiLoCo（Decoupled DiLoCo），一种改进的分布式训练方法。DiLoCo 原为 DeepMind 开发的分布式优化算法，旨在减少跨数据中心通信开销。解耦版本进一步将模型参数同步与优化器状态解耦，允许更灵活的通信调度，降低带宽需求，同时保持训练收敛质量。实验表明，在数百个 GPU 上训练时，该方法可将通信量减少至原来的 1/10，且不损失模型性能。该工作为大规模分布式训练提供了更高效的方案，尤其适用于跨地域集群场景。