百度文心 Unlimited OCR 2.0：稀疏注意力实现无限长文档解析

5 天 star 破万、四榜第一、杨立昆亲自转发的那个 OCR 模型，2.0 来了！！！

上一代 Unlimited OCR 发布第二天就登顶 GitHub Trending,5 天 star 直接破万，之后 HuggingFace 全球模型趋势榜两次冲到第一，杨立昆亲自转发推荐！

到今天，HuggingFace 累计下载破千万，GitHub 已经2.84 万 star！ 但 1.0 版本有一个绕不过去的硬伤：

它解决了超长文档的文本解析，KV Cache 能保持恒定——但文档一超过百页，视觉计算开销就指数级膨胀，几百页的文档根本扛不住

2.0 的解法特别有意思： 他们观察了一个极其朴素的现象——人在抄书的时候，不会把整本书都举在眼前，只专注当前页，需要的时候才翻回去看最相关的那几段

几千年最朴素的人类认知模式，被写成了一套稀疏参考滑动窗口注意力机制（SR-SWA）！

具体怎么实现，分为两步走：

第一步「页面门控」——先判断当前内容跟哪几页有关，把查找范围从整本书缩到最相关的几页

第二步「Token 筛选」——在这几页里按相关度打分，只挑得分最高的几个信息块拉过来参考，其余全部丢掉

两步下来，每一步解码的计算复杂度被压成了常数——不管文档有 10 页还是 1000 页，单步开销不变

但光是每步少算还不够——几百页文档把所有页面的缓存全堆在显存里就 47G

所以他们又加了一刀：把文档切成一块一块顺着读，读完一块就释放，显存里永远只留当前这一小块

哈利波特七部曲 3600 多页直接灌进去，结果：

1、一口气读完，没拆没分 2、显存峰值从 47G 干到 1.77G 3、解码速度是全注意力方案的 7 倍 4、文档越长精度越稳

——这点特别值得单独说：目前主流的前沿视觉语言模型，文档一长性能就往下掉，序列越长注意力越分散

但文心 Unlimited OCR 2 在多页文档基准测试里全线 SOTA，展现出罕见的「长度无关准确率」

5、批量吞吐量从 360 TPS 干到 1315 TPS

从行业视角拉远一点看，文档解析经历了三次范式转变：

OCR 1.0：传统流水线，检测模块 + 识别模块 + 后期拼接，逐页处理，跨页全靠人工对齐，误差逐级累积

OCR 2.0：端到端视觉语言模型，把文档理解统一建模成序列转录任务，干掉了流水线累积误差——但处理跨度有限，十几页就到头了

Unlimited OCR 1.0 把连续解析拓展到了数十页

2.0 直接把页数上限干没了！！😱

他们管这叫 OCR 3.0 时代——从有限页数走向真正的无限解析，为任意长度文档理解奠定了基础！

看完技术报告和 benchmark 数据，这话真不虚！

百度文心 Unlimited OCR 2，目前已经开源：

GitHub：https://github.com/baidu/Unlimited-OCR HuggingFace：https://huggingface.co/baidu/Unlimited-OCR-2

对了论文开头还藏了一段 Fate 无限剑制的咏唱改编：

「Pixels are my body, and tokens are my blood. I have parsed over a thousand pages. Unknown to KV cache. Nor known to context limits. So, as I pray: Unlimited OCR Works.」

上一代就叫 Unlimited OCR Works，名字本身就是致敬无限剑制

有社区用户在 HuggingFace 上写了 OCR 版咏唱，团队直接收录进了 2.0 的论文

能做出好技术的团队不少，愿意和社区一起共创的团队确实不多！兄弟们快去给赛博活佛点个star支持一下！