Nyströmformer：线性时间自注意力新方法

Nyströmformer 是一种基于 Nyström 方法的 Transformer 变体，旨在将自注意力的计算复杂度从 O(n²) 降低到 O(n)。该方法通过矩阵近似技术，利用少量地标点（landmark points）来近似完整的注意力矩阵，从而在保持模型性能的同时大幅提升长序列处理效率。实验表明，Nyströmformer 在多个长序列任务上取得了与标准 Transformer 相当的结果，且内存占用显著降低。该工作由威斯康星大学麦迪逊分校等机构完成，代码已开源。