Normalized Low-Rank Adaptation (NoRA)

尽管低秩自适应（LoRA）被广泛用于参数高效的模型适配，但如何正则化其训练动态以实现稳定且有效的优化仍鲜有探索。由于 LoRA 将上投影初始化为零，其早期优化动态主要由下投影决定。基于这一观察，我们引入了归一化低秩自适应（NoRA），这是一种简单而有效的方法，在训练期间对下投影矩阵进行归一化。我们进一步表明，相同的归一化仅应用于初始化阶段即可，无需在整个训练过程中重复归一化，从而改进标准 LoRA。在预训练、监督微调和强化学习中，NoRA 始终加速收敛、提升性能与训练稳定性，并缓解灾难性遗忘。这些优势既不需要额外的可训练参数，也不增加推理时的计算开销，使 NoRA 成为对 LoRA 一种简单且广泛适用的增强方法。