Hugging Face 支持 AWS Inferentia2 部署模型

Hugging Face 宣布其推理端点（Inference Endpoints）现已支持 AWS Inferentia2 芯片，用户可在该硬件上部署 Hugging Face 模型。Inferentia2 是 AWS 自研的机器学习推理芯片，旨在提供高性能、低成本的推理服务。该集成允许用户通过 Hugging Face 的界面直接选择 Inferentia2 实例，无需额外配置。此举降低了在 AWS 上部署模型的复杂度，尤其适合对延迟和成本敏感的生产环境。Hugging Face 表示，Inferentia2 在多种 NLP 和计算机视觉模型上表现出色，可显著提升推理吞吐量。