Hugging Face 与 AMD 合作加速大模型推理

Hugging Face 与 AMD 宣布合作，通过 Optimum AMD 库在 AMD GPU 上加速大模型推理。该合作将支持 Hugging Face 生态中的模型在 AMD ROCm 软件栈上高效运行，包括 Llama、Mistral 等主流架构。用户可通过 Optimum AMD 的 API 直接加载模型并利用 AMD GPU 的硬件加速能力，无需额外配置。首批支持的模型包括 Llama 2、CodeLlama 等，未来将扩展至更多模型。此举旨在降低 AMD GPU 用户使用大模型的门槛，推动 AI 推理的硬件多样性。