Reformer：高效处理长序列的新模型

Reformer 是一种新型 Transformer 架构，通过局部敏感哈希注意力（LSH）和可逆残差层，将内存复杂度从 O(L^2) 降至 O(L log L)，支持处理长达 64K 的序列。该模型在 enwik8 等基准上达到与全注意力 Transformer 相当的性能，同时显著降低内存占用。Reformer 的发布为长文本建模、文档生成等任务提供了更高效的解决方案。