Hugging Face 集成 bitsandbytes 实现 8 位矩阵乘法

Hugging Face 宣布在其 Transformers 库中集成 bitsandbytes 库，支持 8 位矩阵乘法，从而显著降低大模型推理和训练时的显存占用。该集成允许用户在加载模型时通过参数指定 8 位量化，无需额外代码。bitsandbytes 由 Tim Dettmers 开发，已广泛用于 LLM.int8() 等量化方法。此次集成使得 Hugging Face 用户能够更便捷地利用 8 位精度运行大型模型，例如在单个 24GB GPU 上加载 175B 参数的模型。