Hugging Face Transformers 在 AWS Inferentia2 上加速

Hugging Face 与 AWS 合作，优化 Transformers 库在 Inferentia2 芯片上的推理性能。通过集成 AWS Neuron SDK，用户可在 SageMaker 或 EC2 Inf2 实例上部署模型，获得相比 GPU 更低的延迟和成本。支持 BERT、T5、LLaMA 等主流架构，并提供一键部署示例。