TRL 推出 Delta Weight Sync，高效同步万亿参数模型

Hugging Face 的 TRL 库推出 Delta Weight Sync 技术，旨在解决大规模模型（如万亿参数级）在分布式训练或推理中的同步效率问题。该方法通过仅同步模型权重的增量变化（delta），而非完整权重，大幅降低通信开销，提升同步速度。该技术适用于多节点训练、模型并行等场景，尤其对需要频繁同步的强化学习（RL）训练流程有显著优化。目前该功能已集成到 TRL 库中，开发者可直接调用。