Debias-SparseGPT：通过二阶项缓解大模型剪枝偏见

剪枝和量化等模型压缩技术有助于大语言模型（LLM）的高效部署与加速。然而，近期研究表明，权重稀疏化方法（如 SparseGPT）可能会放大模型中已有的偏见，其输出结果会因提示词中的人格线索不同而产生显著差异。在本文中，我们提出了 Debias-SparseGPT，这是一种后训练剪枝方法，通过在人口统计学特征对比鲜明的输入上定义二阶项来实现表征去偏。我们在广泛的生成式 LLM 上对我们的方法进行了实证验证。在不同模型和稀疏度设置（25%、50% 以及结构化 2:4 稀疏度）下，与 SparseGPT 相比，Debias-SparseGPT 始终能减少由剪枝引起的偏见，同时保持模型的困惑度和零样本准确率。在最严格的 2:4 结构化稀疏模式下，该模式对模型质量的破坏最为严重，通过向校准集中增加长上下文、内容丰富的示例，可以进一步提升下游性能和公平性。总体而言，Debias-SparseGPT 在保持稀疏模型计算效率的同时，改善了偏见与性能之间的权衡。