Optimum-NVIDIA：一行代码加速LLM推理

Hugging Face 发布 Optimum-NVIDIA 库，旨在通过一行代码集成 NVIDIA 加速技术，显著提升大语言模型（LLM）的推理速度。该库基于 NVIDIA TensorRT-LLM 和 Triton Inference Server，支持多种模型架构，并提供自动优化和部署功能。用户只需在现有 Hugging Face 代码中添加一行 import，即可获得数倍性能提升，降低延迟和成本。该工具适用于生产环境，简化了从研究到部署的流程。