Optimum与Transformers管线加速推理

Hugging Face 发布 Optimum 库与 Transformers 管线集成，旨在加速推理性能。Optimum 通过硬件优化和量化技术，支持多种后端（如 ONNX Runtime、Intel OpenVINO、NVIDIA TensorRT），可无缝替换 Transformers 的 pipeline 调用，实现更快的推理速度和更低的内存占用。该集成支持文本分类、问答、图像分类等常见任务，用户只需安装 Optimum 并指定加速器即可获得性能提升。博客提供了代码示例和基准测试结果，显示在 CPU 和 GPU 上均有显著加速。