Hugging Face 为 SageMaker 推出 LLM 推理容器

Hugging Face 宣布推出针对 Amazon SageMaker 的 LLM 推理容器，该容器集成了文本生成推理（TGI）和 vLLM 等高性能推理引擎，支持 Llama、Mistral、Falcon 等主流大语言模型。用户可通过 SageMaker 一键部署模型，并利用自动缩放、负载均衡等云原生功能。该容器优化了推理性能，降低了延迟和成本，同时保持了 Hugging Face 生态的易用性。此举旨在简化大模型在云端的部署流程，使开发者能更高效地构建生成式 AI 应用。