利用Flash Attention 2打包提升训练效率

Hugging Face 博客介绍了如何利用 Flash Attention 2 的打包（packing）功能来提升训练效率。文章指出，传统训练中需要对序列进行填充（padding）以对齐长度，导致计算浪费。Flash Attention 2 支持变长序列的打包，无需填充即可高效计算注意力。通过将多个短序列打包成一个长序列，并利用 Flash Attention 2 的掩码机制，可以显著减少填充 token 的计算开销，提升训练吞吐量。文章还提供了在 Transformers 库中使用该功能的代码示例和性能对比数据。