AutoGPTQ集成Transformers，LLM推理更轻量

Hugging Face 宣布 AutoGPTQ 库已与 Transformers 集成，支持 GPTQ 量化模型在 Transformers 中直接加载和推理。GPTQ 是一种后训练量化方法，可将大语言模型权重量化到 4-bit 或 8-bit，显著降低显存占用和推理延迟，同时保持较高精度。集成后，用户只需指定量化配置即可在 Transformers 中使用 GPTQ 模型，无需额外安装 AutoGPTQ 或手动处理量化步骤。该集成支持多种模型架构，包括 LLaMA、BLOOM、OPT 等，并兼容 CPU 和 GPU 推理。此举降低了 LLM 部署门槛，尤其有利于资源受限环境下的应用。