PyTorch 性能分析第三篇：注意力机制剖析

本博客是 PyTorch 性能分析系列第三篇，聚焦于注意力机制的 profiling。文章介绍了如何使用 PyTorch Profiler 和 TensorBoard 分析注意力层的计算与内存开销，包括自注意力、交叉注意力等变体。通过具体示例，展示了如何识别瓶颈、优化 kernel 融合以及减少显存占用。内容涵盖 torch.profiler 的配置、火焰图解读、内存时间线分析等实用技巧，帮助开发者提升 Transformer 模型的训练与推理效率。