Hugging Face TGI 支持 AWS Inferentia2

Hugging Face 宣布其文本生成推理（TGI）库现已支持 AWS Inferentia2 芯片，用户可在 AWS 上使用 TGI 部署大语言模型，利用 Inferentia2 的高性价比推理能力。该集成基于 AWS Neuron SDK，支持动态批处理、连续批处理、张量并行等优化，兼容 Hugging Face Hub 上的模型。用户可通过 Docker 容器快速启动，并享受与 TGI 一致的 API 接口。此举降低了在 AWS 上部署 LLM 的门槛，尤其适合成本敏感的生产场景。