GaLore：消费级硬件上训练大模型

GaLore 是一种新的训练方法，允许在消费级 GPU（如 RTX 4090）上训练大语言模型，通过梯度低秩投影减少内存占用，同时保持模型质量。该方法在 7B 参数模型上实现内存节省约 65%，训练速度提升约 2-3 倍。论文已开源，代码和权重可在 GitHub 获取。