Intel Sapphire Rapids加速PyTorch Transformer推理

本文介绍了Intel Sapphire Rapids处理器在PyTorch Transformer推理中的性能优化。通过利用AMX（高级矩阵扩展）和BF16/INT8量化，Sapphire Rapids在BERT、GPT等模型上实现了2-4倍的推理加速。文章详细说明了如何通过Intel Extension for PyTorch（IPEX）启用这些优化，包括自动混合精度、图模式编译和内存布局优化。实验结果显示，在单插槽Sapphire Rapids上，BF16推理吞吐量相比AVX-512 FP32提升显著，且精度损失极小。此外，文章还讨论了与Hugging Face Transformers库的集成方法，使得用户无需修改代码即可获得加速。