Intel 推出 AutoRound：LLM 与 VLM 高级量化工具

Intel 发布了 AutoRound，这是一个针对大型语言模型（LLM）和视觉语言模型（VLM）的高级量化工具。AutoRound 基于符号梯度优化，支持多种量化格式（如 INT4、INT8 等），旨在提升模型推理效率并降低内存占用。该工具已集成到 Hugging Face 生态中，用户可通过 Optimum 库轻松使用。AutoRound 在多个基准测试中展示了与全精度模型相近的性能，同时显著减少了模型大小。