Habana Gaudi2 加速 BLOOMZ 推理

Hugging Face 博客发布文章，介绍 Habana Gaudi2 加速器如何优化 BLOOMZ 大模型的推理性能。文章详细说明了在 Gaudi2 上部署 BLOOMZ 的配置方法、性能基准测试结果，以及相比其他硬件的优势。测试显示，Gaudi2 在推理延迟和吞吐量上均有显著提升，为大规模语言模型的高效部署提供了新选择。