Google DeepMind提出声明式注意力机制降低长文本推理成本
Banger paper from Google DeepMind and colleagues.
长上下文推理是行业痛点，这篇论文提出的让模型自主控制注意力范围的方法极具工程落地价值，值得关注其后续开源实现。
Banger paper from Google DeepMind and colleagues.
来自 Google DeepMind 及其同事的出色论文。
(bookmark it)
(收藏它)
A model reads its entire KV cache on every generated token, even though it ends up attending to a tiny slice of it.
模型在生成每个 token 时都会读取其完整的 KV cache，尽管最终它只关注其中的一小部分。
In other words, if you ask about one detail from a 1M-token conversation the global attention layers re-read all of it, per token.
换句话说，如果你询问一段 100 万 token 对话中的某个细节，全局注意力层会为每个 token 重新读取全部内容。
The usual fix is to guess the relevant tokens first with cheap proxy scores, which still costs O(N) every step. Declarative Attention asks the model instead.
通常的解决方法是先通过廉价的代理分数猜测相关 token，但这每一步仍需 O(N) 的开销。Declarative Attention（声明式注意力）则改为让模型自行决定。
The model declares where it needs to look, inside its own chain-of-thought.
模型在其自身的思维链内部声明需要关注的地方。
In this way, generation splits into three modes: global reads the full context, focus reads one specific region, and local reads only recent output.
这样一来，生成分为三种模式：全局模式读取完整上下文，聚焦模式读取特定区域，局部模式仅读取最近的输出。
The inference engine parses those declarations the same way it parses tool calls and skips most of the cache read.
推理引擎以解析工具调用的方式解析这些声明，从而跳过大部分缓存读取操作。
On zero-shot on off-the-shelf weights across 15 long-context tasks, attended tokens during decoding drop 52.0% on Gemma-4-31B and 31.1% on Qwen-3.6-27B.
在 15 个长上下文任务的零样本测试中，使用现成权重，解码期间被注意到的 token 数量在 Gemma-4-31B 上减少了 52.0%，在 Qwen-3.6-27B 上减少了 31.1%。
Paper: https://arxiv.org/abs/2609.02737
论文：https://arxiv.org/abs/2609.02737
Chat with Paper: https://academy.dair.ai/papers/language-models-can-control-their-own-attention-2609.02737
与论文对话：https://academy.dair.ai/papers/language-models-can-control-their-own-attention-2609.02737
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力