快速权重注意力用于持续学习：Falcon 系列更新规则

递归快速权重记忆和选择性状态空间模型将不断扩展的上下文压缩为固定大小的递归状态，使得状态转换成为一种在线学习规则。我们在读后写自回归语义下研究这一规则。对于此处考虑的前缀预测目标，在步骤t揭示的局部快速记忆示例是前缀对齐的对(x_t,y_t)=(ϕ(k_{t-1}),v_t)。常见的同一步关联(ϕ(k_t),v_t)保持因果性，但优化了不同的内部目标。我们为平方误差回归和负内积目标推导了归一化的一阶更新。回归家族包括Falcon-1（标量NLMS更新）、Falcon-2（其逐列扩展）和Falcon-3（滑动窗口小批量更新）；Falcon-1A/Falcon-2A/Falcon-3A是相应的内积变体。我们提供了递归、掩码并行和分块并行形式，以及数值稳定的正衰减重归一化。代表性变体在语言建模中保持竞争力，并在变长数字加法上改善了长度外推。该框架在递归序列模型中分离了时间对齐、可塑性、遗忘和有界排练。