重复数据预训练：Batch Size、正则化与GPU时间权衡

我们研究在计算资源充裕但独特训练数据有限的情况下进行预训练，这需要重复使用相同数据进行训练。我们首先回顾无限计算预训练（Kim 等，2026），并表明其性能上限关键取决于此前被固定或仅孤立研究的选项。具体而言，将批量大小与轮次数量联合优化，揭示了验证损失与批量大小之间的 U 型关系，倾向于使用比典型预训练更小的批量，这可能是因为小批量梯度噪声提供了隐式正则化。我们进一步发现，此前在单次遍历假设下优化的训练配方可以进行调整，例如每轮将文档重新打包为新序列、权重绑定以及正向嵌入权重的衰减。 随后，我们放宽了无限计算的假设。具体而言，小于典型的批量大小可能导致顺序训练时间过长而不可行，因此促使我们将 GPU 和时间视为独立的资源。更紧的截止日期有利于更大的批量，而面向延迟的并行性可以用额外的 GPU 换取更短的训练时间。然而，即使在固定的时间预算下，使用较少 GPU 的小批量也能实现比使用较多 GPU 的大批量更低的验证损失，这与在截止日期前增加数据并行度以最大化 GPU 利用率的常见做法相悖。综上所述，我们的结果识别了重复数据训练中未被充分探索的因素，并为训练配方和资源分配应如何从单次遍历预训练进行调整提供了具体指导。