Hugging Face Infinity 在 CPU 上实现毫秒级推理延迟

Hugging Face 发布 Infinity 推理引擎，在 CPU 上实现了毫秒级延迟，无需 GPU 即可高效运行 Transformer 模型。该引擎通过优化内核、量化技术和批处理策略，在 Intel 至强处理器上达到与 GPU 相当的性能，显著降低推理成本。支持 Hugging Face 生态中的多种模型，适用于低延迟、高吞吐的部署场景。