超越LoRA：能否击败最流行的微调技术？

Hugging Face 发布博客文章，探讨除 LoRA 之外的参数高效微调（PEFT）方法。文章比较了 LoRA、DoRA、LoRA+、PiSSA、LoRA-XS、VeRA、Lokr、IA3、AdaLoRA、DyLoRA、SoRA、LoRA-FA、LoRA-Drop 等多种技术，从可训练参数数量、性能、内存占用等维度进行对比。实验基于 LLaMA 2 7B 模型，在多个下游任务上评估。结果显示，某些方法如 DoRA 和 LoRA+ 在特定任务上表现优于标准 LoRA，但 LoRA 仍是最均衡的选择。文章旨在帮助用户根据需求选择最佳微调方法。