Telperion发布Qwen3.8-27B潜注意力变体，KV缓存压缩4倍
New model from Telperion: Qwen3.8-27B-MLA & Qwen3.8-27B-GLA-g2. 4x smaller KV cache, smarter, and more efficient reasoning.
潜注意力技术能大幅降低显存占用并提升推理效率，对本地部署和长上下文场景有直接实用价值，建议关注其后续开源进展。
Hello! We've been busy at Telperion with a lot of experimental research (more coming soon). Today, we're announcing the release of our latent attention variants of Qwen3.8-27B.
大家好！Telperion 团队近期忙于大量实验性研究（更多成果即将发布）。今天，我们宣布推出基于 Qwen3.8-27B 的潜在注意力（Latent Attention）变体。
Our latent attention variants (quants calibrated to FP8 KV cache) compress the KV cache by 4×, enabling a near 4× increase in maximum context on consumer hardware or a near 4× increase in concurrency on server hardware. These variants demonstrate great performance, with a statistically distinguishable increase (+6.58%) in SWE performance on our MLA variant, in addition to using upwards of 20% fewer reasoning tokens.
我们的潜在注意力变体（针对 FP8 KV 缓存校准的量化版本）可将 KV 缓存压缩 4 倍，从而在消费级硬件上实现近 4 倍的最大上下文长度提升，或在服务器端硬件上实现近 4 倍的并发能力提升。这些变体展现出卓越的性能：在我们的 MLA 变体中，SWE 性能有统计学意义的提升（+6.58%），同时推理 token 使用量减少了 20% 以上。
Due to the memory downsides of serving MLA on multi-GPU devices, we produced a grouped latent variant using two groups, enabling 4× KV compression for dual GPU users.
由于在多 GPU 设备上部署 MLA 存在内存方面的劣势，我们开发了一种使用两个组的分组潜在变体，为双 GPU 用户实现了 4 倍的 KV 缓存压缩。
| Model | SWE-bench Verified (zero-shot, toolless, n > 1500) | Mean Output Tokens | KV Compression (TP = 1, TP = 2) |
|---|---|---|---|
| Qwen3.8-27B | 39.5% | — | — |
| Qwen3.8-27B-MLA | 42.1% | 0.88× | 4.00×, 2.28× |
| Qwen3.8-27B-GLA-g2 | 39.4% | 0.86× | 4.00×, 4.00× |
| 模型 | SWE-bench Verified（零样本、无工具、n > 1500） | 平均输出 Token 数 | KV 压缩（TP = 1, TP = 2） |
|---|---|---|---|
| Qwen3.8-27B | 39.5% | — | — |
| Qwen3.8-27B-MLA | 42.1% | 0.88× | 4.00×, 2.28× |
| Qwen3.8-27B-GLA-g2 | 39.4% | 0.86× | 4.00×, 4.00× |
We have fantastic recipes for post-training quantization and have produced quantized versions that exceed equivalently sized .gguf quants in fidelity. Our models have an easy to install vLLM plugin.
我们拥有出色的后训练量化方案，并生成了保真度超越同等大小 .gguf 量化版本的量化模型。我们的模型提供了一个易于安装的 vLLM 插件。
| Quant | Memory (including MTP head and vision encoder) | Increase in top-1 disagreement (lower is better) |
|---|---|---|
| BF16 | 55.7GB | — |
| FP8 | 31.5GB | 0.06% |
| INT4 | 22.9GB | 0.17% |
| EXL3-4.0bwp* | 17.2GB | 0.46% |
| 量化格式 | 显存占用（含 MTP 头部和视觉编码器） | Top-1 分歧率增加幅度（越低越好） |
|---|---|---|
| BF16 | 55.7GB | — |
| FP8 | 31.5GB | 0.06% |
| INT4 | 22.9GB | 0.17% |
| EXL3-4.0bwp* | 17.2GB | 0.46% |
*EXL3 requires a custom vLLM plugin to run.
*EXL3 需要自定义 vLLM 插件才能运行。
The plugin has been verified on RTX PRO 6000s, H100s, and 2× RTX 5060Ti 16GB.
该插件已在 RTX PRO 6000、H100 以及 2× RTX 5060Ti 16GB 设备上验证通过。
We do not believe in gatekeeping ideas or research. As a result we will be open sourcing our method soon. This method requires zero-retraining, and is compatible with almost any model that uses grouped query attention or similar variants.
我们不主张对想法或研究进行封锁。因此，我们将很快开源我们的方法。该方法无需重新训练，且兼容几乎所有使用分组查询注意力（Grouped Query Attention）或其类似变体的模型。
Finally, we plan to make an improved version 2, with a full benchmark suite when we get more compute. We will also be making sparse latent attention variants of Qwen4-27B when released.
最后，当我们获得更多算力时，计划推出改进版的 V2，并附带完整的基准测试套件。此外，在 Qwen4-27B 发布时，我们也将推出其稀疏潜在注意力变体。
What models would you like to see with latent attention?
你希望看到哪些模型具备潜在注意力功能？
For those interested in following our research, learning/doing research, or getting on contact, feel free to join our discord server.
对于希望关注我们的研究、参与/开展研究工作或取得联系的朋友，欢迎加入我们的 Discord 服务器。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力