哈佛斯坦福论文：嵌入模型检索性价比远超LLM
New Harvard + Stanford paper says, don’t replace your embedding model with an LL…
RAG架构必读，用真实数据证明嵌入模型初筛的必要性，直接指导工程选型与成本控制。
New Harvard + Stanford paper says, don’t replace your embedding model with an LLM. Use embeddings for the cheap, fast first pass.
哈佛与斯坦福大学的新论文指出，不要用大语言模型（LLM）替换你的嵌入模型。在成本更低、速度更快的首轮检索中使用嵌入向量。
And bring in an LLM only when the retrieval problem actually requires reasoning.
只有当检索问题确实需要推理能力时，才引入大语言模型。
An LLM costs up to 1,431X more than an embedding model of comparable quality.
大语言模型的成本最高是同质量级别嵌入模型的 1,431 倍。
Across 10 LLMs and 26 embedding models on 37 tasks, Gemini 3.1 Pro scored 77.6 versus 77.2 for Octen-8B, a statistical tie.
在 37 项任务上对 10 个大语言模型和 26 个嵌入模型进行测试，Gemini 3.1 Pro 得分为 77.6，Octen-8B 为 77.2，两者处于统计平局状态。
The cost was nowhere close: $154.14 for the LLM benchmark pass versus $0.11 for Octen-8B, or 1,431× more.
成本差距则巨大：大语言模型基准测试通过费用为 154.14 美元，而 Octen-8B 仅为 0.11 美元，高出 1,431 倍。
The task split explains when that extra spend can make sense.
任务分类解释了额外支出在何时是合理的。
LLMs led retrieval by 8.5 points, while embeddings led classification by 5.6; clustering, semantic similarity, and pair classification were effectively tied.
在大语言模型主导的检索任务中领先 8.5 分，而嵌入模型在分类任务中领先 5.6 分；聚类、语义相似度和配对分类任务则基本持平。
Embeddings encode documents once and reuse vectors, while an LLM can read multiple documents together with the query and reason across them.
嵌入模型只需对文档编码一次并复用向量，而大语言模型可以将多个文档与查询一起读取并进行跨文档推理。
So overall recommendation, embeddings for candidate retrieval, LLMs only where the shortlist actually needs reasoning.
因此总体建议是：使用嵌入模型进行候选检索，仅在实际短名单需要推理时才使用大语言模型。
– arxiv. org/abs/2608.12875
– arxiv.org/abs/2608.12875
Title: "The Embedder's Dilemma: LLMs Are Better, but at What Cost?"
标题：《嵌入者的困境：大语言模型更优，但代价是什么？》
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力