ReRound：无校准LLM量化中的中点歧义消解

ReRound（重构舍入）是一种训练后量化方法，解决了标准最近舍入（RTN）方案在量化接近量化区间中心的权重时固有的中点模糊性问题。 从预训练的大语言模型（LLM）开始，ReRound训练一个条件扩散模型，为LLM生成低比特权重的连续重构。这些重构权重作为引导信号，用于消除接近区间中点的权重的舍入方向模糊性。 为了将这种重构引导的舍入与常规RTN相结合，ReRound引入了一个容差度量，用于衡量量化权重（而非最终量化整数）距离中点的远近：位于中点周围容差区域内的量化权重使用基于扩散的重构进行量化，而更接近量化边界的权重则使用RTN进行量化。通过扫描容差参数，ReRound生成多个候选量化整数权重矩阵，并选择去量化权重矩阵候选，其前导奇异值与原始全精度权重最接近。该选定候选决定了ReRound使用的容差参数。 ReRound对于较小的LLM特别有效。在一系列此类模型中，它在3比特和4比特权重量化方面始终优于标准RTN。与大量无需校准的方法相比，ReRound实现了更高的精度，与依赖校准的方法相比保持竞争力，并且完全离线运行，在低比特推理期间不引入额外开销。 ReRound策略代表了一种新的低比特量化方法。该方法适用于LLM之外的人工智能模型。本文重点研究其在小型LLM上的应用。