Hugging Face 集成 NVIDIA NIM 加速 LLM 推理

Hugging Face 宣布与 NVIDIA 合作，将 NVIDIA NIM（NVIDIA Inference Microservices）集成到其平台中，以加速大型语言模型（LLM）的推理性能。NIM 是 NVIDIA 提供的一组优化推理微服务，支持多种主流 LLM 架构，通过利用 NVIDIA GPU 的 TensorRT-LLM 和 Triton Inference Server 等优化技术，显著降低推理延迟并提高吞吐量。用户现在可以在 Hugging Face 上直接部署和运行使用 NIM 加速的模型，无需额外配置。该集成旨在简化 AI 开发者的部署流程，使高性能推理更易获取。