Ulysses序列并行：百万token上下文训练

Hugging Face 发布 Ulysses 序列并行技术，支持在 Transformer 模型上训练百万级 token 的上下文长度。该方法通过将长序列分割到多个 GPU 上并行处理，显著降低显存占用，同时保持计算效率。实验表明，在 128 个 GPU 上可处理 100 万 token 的序列，且训练速度接近线性扩展。该技术适用于长文档理解、代码生成等场景，已集成至 Hugging Face 的 Transformers 库。