构建可审计文档问答Agent：云端解析与本地迭代方案

讲如何构建一个 “有据可查” 的文档问答 Agent ？

RAG 应用的通病：上传一份长 PDF，AI 给出的答案看起来合理，但你无法验证。作者把“信任”拆成了可操作的工程要求——每个论断都要能追溯到具体页码和原文片段。这就是 "Grounded" 的含义：不是让模型更聪明，是让答案可审计。

技术方案：“云端解析一次，本地无限迭代” · 解析层（唯一云端环节）：用 @llama_index LlamaParse 生成布局感知的 Markdown，保留页码元数据；文件哈希缓存，避免重复消耗解析额度。 · 本地层（免费可反复试错）：@ollama 的 nomic-embed-text 做嵌入 → LlamaIndex 向量索引持久化 → 检索 top-4 片段 → 本地 qwen3:4b-instruct 生成回答。 · 引用层：用 LlamaIndex 的 CitationQueryEngine 把上下文切成编号块，强制模型以 [1]、[2] 格式内联引用。 · 验证层（UI）：展示页码、检索到的原文、查询词高亮和相关性分数。

方案中三个有价值的技术点 1. 解析是天花板，而不是模型。 基础文本提取会把双栏论文串读、把财务表格打散成无主数字、对扫描件完全无能为力。答案质量的上限在管道最前端就定死了，多数人在后端调 prompt、换模型，方向本身就偏了。 2. 引用粒度是个权衡，没有标准答案。 引用块设为 512 字符：块越小引用越精确，但推理上下文越破碎。这个参数需要按文档类型实测。 3. 引用 ≠ 正确。 如果解析时表格数值配错了列头，即使引用页码完全正确，答案依然是错的。所以“可追溯”不等于“可信”。解法是把验证 UI 当作诊断工具：页码、原文、相关性分数全部可见，让任何一次失败都能被归因到解析、检索、生成三段之一。这是把黑盒 RAG 变成可调试管道的思路。