GCP 第5代至强 CPU 上语言模型性能基准测试

Hugging Face 发布了在 Google Cloud Platform（GCP）第5代至强（Xeon）CPU 上运行语言模型的性能基准测试结果。测试涵盖了多种主流模型，包括 BERT、T5、LLaMA 等，评估了推理延迟和吞吐量。结果显示，第5代至强 CPU 相比前代有显著性能提升，特别是在使用 INT8 量化时，推理速度可提升 2-3 倍。该测试为在 CPU 上部署语言模型提供了参考，尤其适用于对成本敏感或 GPU 资源受限的场景。