微软论文：免训练滑动窗口注意力优于线性注意力
So happy to see this new Microsoft paper.
So happy to see this new Microsoft paper.
很高兴看到这篇微软的新论文。
If lower inference memory is the goal, this paper finds training-free Sliding Window Attention beats most retrofitted linear-attention methods, making it the simpler default to try first.
如果目标是降低推理内存占用，该论文发现无需训练的滑动窗口注意力（Sliding Window Attention）优于大多数经过改造的线性注意力方法，因此它成为首选尝试的更简单默认方案。
Keep only a small recent window, plus the first 4 “sink” tokens that models rely on.
仅保留一个较小的近期窗口，以及模型所依赖的前4个“sink”（吸收/汇聚）token。
With a 64-token window, this training-free setup had the best average downstream score in 9 of 11 model comparisons and recovered 99.0% of the full-attention baseline average.
在64个token的窗口设置下，这种无需训练的方案在11组模型对比中的9组取得了最佳的平均下游任务得分，并恢复了完整注意力基线平均水平的99.0%。
Many linear-attention alternatives need additional post-training; this version of SWA needs none.
许多线性注意力的替代方案需要额外的后训练步骤；而此版本的SWA则完全不需要。
The gap grew on long-context reasoning.
在长上下文推理方面，差距进一步扩大。
At 4K context, SWA reached 17.2%–23.0% on the Needle-in-a-Haystack tasks, while LoLCATs reached at most 5.8%; on BABILong, SWA scored 15% versus 3%.
在4K上下文长度下，SWA在Haystack Needle任务上的得分为17.2%–23.0%，而LoLCATs最高仅为5.8%；在BABILong任务上，SWA得分为15%，而后者为3%。
In their speed and memory test, the 64-token SWA setup was fastest and used the least memory.
在速度与内存测试中，64-token的SWA设置速度最快且内存占用最少。
Full attention still wins badly on long context, but for fixed, low memory without retraining, the paper recommends trying SWA with attention sinks first.
在长上下文处理上，完整注意力仍然具有压倒性优势；但在不重新训练且固定低内存的情况下，论文建议首先尝试带有注意力汇聚（attention sinks）的SWA。
– arxiv. org/abs/2608.28444
– arxiv.org/abs/2608.28444
Title: "Sliding-window beats linear attention"
标题：《滑动窗口胜过线性注意力》
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力