ZeRO：借助DeepSpeed与FairScale加速大模型训练

ZeRO（零冗余优化器）是一种内存优化技术，通过将模型状态（优化器状态、梯度、参数）分片到多个GPU上，显著降低显存占用，从而支持训练更大规模的模型。DeepSpeed和FairScale分别实现了ZeRO的不同阶段：DeepSpeed支持ZeRO-1（优化器状态分片）、ZeRO-2（梯度分片）和ZeRO-3（参数分片），并提供CPU offload等高级功能；FairScale则提供了ZeRO-2的轻量级实现。该技术使得在有限GPU资源下训练千亿参数模型成为可能，例如使用DeepSpeed训练的Megatron-LM（1750亿参数）。文章还介绍了ZeRO的配置方法、性能对比及实际应用案例，强调其在大规模分布式训练中的关键作用。