Linkup Research发布SPARSEUP：1.49亿参数开源稀疏嵌入
Linkup Research Releases SPARSEUP: A 149M-Parameter Open-Source Sparse Embedding Model
稀疏嵌入模型是检索链路的关键组件，SPARSEUP提供了完整的训练技巧（如Logit偏移和Case folding）和极低的推理延迟，适合对检索效率有极致要求的工程场景，建议收藏参考。
Linkup research team releases SPARSEUP, an open-source learned sparse embedding model. The model runs on a 149M-parameter ModernBERT backbone and ships under Apache 2.0. Linkup team reports 56.4 average nDCG@10 on BEIR-13. It calls this the strongest public vocabulary-based sparse encoder it knows of under 150M parameters.
Linkup 研究团队发布了 SPARSEUP，这是一个开源的 learned sparse embedding（学习式稀疏嵌入）模型。该模型基于拥有 1.49 亿参数的 ModernBERT 骨干网络运行，并采用 Apache 2.0 许可证发布。Linkup 团队报告称，在 BEIR-13 数据集上取得了 56.4 的平均 nDCG@10 分数。他们称这是目前已知参数量低于 1.5 亿的、最强的基于公开词汇表的稀疏编码器。
Is it deployable? Yes. The weights are on Hugging Face under Apache 2.0. The model loads through Transformers or Sentence Transformers with trust_remote_code=True.
可以部署吗？可以。权重已托管在 Hugging Face 上，采用 Apache 2.0 许可证。通过 Transformers 或 Sentence Transformers 加载模型时，需设置 trust_remote_code=True。
Why a Sparse Model, and Why Now
为什么选择稀疏模型，以及为什么是现在
Most open retrieval models are dense: 1 vector per text. Sparse models output weights over a vocabulary instead. Each dimension maps to a real token, so vectors fit inverted indexes and humans can read them. They also tend to match rare words well.
大多数开源检索模型都是稠密的：每个文本对应一个向量。而稀疏模型则输出词汇表上的权重。每个维度映射到一个真实的词元（token），因此向量可以适配倒排索引，并且人类可读。它们通常也能很好地匹配稀有词。
The trigger was LightOn’s DenseOn and LateOn release. LightOn published open data, a training recipe, a dense model and a late-interaction model. SPARSEUP fills the missing sparse slot. It uses the same backbone family and fine-tuning data, so all 3 retrieval styles can be compared side by side.
触发点是 LightOn 发布的 DenseOn 和 LateOn。LightOn 公开了数据、训练配方、一个稠密模型和一个晚期交互模型。SPARSEUP 填补了缺失的稀疏模型空白。它使用相同的骨干网络家族和微调数据，因此所有三种检索风格都可以并排比较。
How is SPARSEUP Built
SPARSEUP 是如何构建的
Training starts from LateOn-unsupervised. That checkpoint had no MLM head, so the team grafted back ModernBERT’s original one. Fine-tuning used LightOn’s fine-tuning mixture with contrastive learning only. Each query gets 7 hard negatives sampled from a pool of 50, and in-batch negatives. There is no cross-encoder distillation, and training fits on a single H100.
训练从 LateOn-unsupervised 检查点开始。该检查点没有 MLM（掩码语言模型）头，因此团队嫁接回了 ModernBERT 原始的 MLM 头。微调使用了 LightOn 的微调混合数据，仅采用对比学习。每个查询从 50 个候选池中采样 7 个难负样本，并加上批次内负样本。没有进行交叉编码器蒸馏，且训练可在单个 H100 GPU 上完成。
A vanilla SPLADE on this backbone produced huge bags full of stopwords. Linkup fixed this with 3 changes:
在该骨干网络上运行的 vanilla SPLADE 产生了包含大量停用词的巨大词袋。Linkup 通过以下三项更改解决了这一问题：
- Logit shifting: The encoder computes log(1 + ReLU(x - 15)). ModernBERT’s MLM logits sat too high, saturating the log and making bags dense at initialization.
- Per-position top-k: Each input token keeps only its 12 strongest vocabulary dimensions before max pooling. This caps expansion per token, not total vector size.
- Case folding: Byte-level BPE stores heat, Heat, Ġheat and ĠHeat as separate ids. SPARSEUP folds them onto 1 id and keeps the largest weight. Output dimensions drop from about 50k to about 34k.
- Logit 移位：编码器计算 log(1 + ReLU(x - 15))。ModernBERT 的 MLM logits 值过高，导致对数饱和，使初始化时的词袋变得稠密。
- 逐位置 top-k：在进行最大池化之前，每个输入词元仅保留其最强的 12 个词汇表维度。这限制了每个词元的扩展量，而非总向量大小。
- 大小写折叠：Byte-level BPE 将 heat、Heat、Ġheat 和 ĠHeat 存储为不同的 ID。SPARSEUP 将它们折叠到同一个 ID 上，并保留最大的权重。输出维度从约 5 万降至约 3.4 万。
Queries and documents take [Q] and [D] prefixes, and scoring is a dot product. Evaluation max lengths are 128 tokens for queries and 512 for documents.
查询和文档分别带有 [Q] 和 [D] 前缀，评分方式为点积。评估时的最大长度分别为查询 128 个词元，文档 512 个词元。
Benchmark Results
基准测试结果
Against other sparse encoders on BEIR-13 (nDCG@10, without MS MARCO), per the model card:
根据模型卡片，在 BEIR-13（nDCG@10，不含 MS MARCO）上与其他稀疏编码器相比的结果如下：
| Model | BEIR-13 avg |
|---|---|
| SPARSEUP | 56.4 |
| opensearch-neural-sparse-encoding-doc-v3-gte | 54.6 |
| opensearch-neural-sparse-encoding-v1 | 52.44 |
| ModernBERT-VT | 52.4 |
| splade-v3 | 51.7 |
| granite-embedding-30m-sparse | 50.6 |
| LACONIC-1B (1B parameters, different size class) | 58.7 |
| 模型 | BEIR-13 平均值 |
|---|---|
| SPARSEUP | 56.4 |
| opensearch-neural-sparse-encoding-doc-v3-gte | 54.6 |
| opensearch-neural-sparse-encoding-v1 | 52.44 |
| ModernBERT-VT | 52.4 |
| splade-v3 | 51.7 |
| granite-embedding-30m-sparse | 50.6 |
| LACONIC-1B（10亿参数，不同规模类别） | 58.7 |
The controlled comparison is less flattering. With backbone and data fixed, LateOn scores 58.9, DenseOn 57.9 and SPARSEUP 56.4. SPARSEUP uses approximate Seismic search, while LightOn reports exact search. SPARSEUP wins ArguAna and Touché and beats DenseOn on HotpotQA. It lags on more semantic sets, with FiQA showing the largest gap. DBPedia is another weak spot.
受控比较的结果并不那么令人满意。在骨干网络和固定数据下，LateOn 得分为 58.9，DenseOn 为 57.9，SPARSEUP 为 56.4。SPARSEUP 使用近似 Seismic 搜索，而 LightOn 报告的是精确搜索。SPARSEUP 在 ArguAna 和 Touché 上胜出，并在 HotpotQA 上击败 DenseOn。它在更多语义数据集上表现落后，其中 FiQA 的差距最大。DBPedia 是另一个弱点。
On decontaminated BEIR, the gap to DenseOn shrinks to 0.17 points. Linkup warns that decontaminated NQ and MS MARCO have only 21 and 46 queries, so those results are noisy.
在去污染后的 BEIR 上，与 DenseOn 的差距缩小到 0.17 分。Linkup 警告称，去污染后的 NQ 和 MS MARCO 分别只有 21 条和 46 条查询，因此这些结果存在噪声。
Speed and Sparsity
速度与稀疏性
On MS MARCO, SPARSEUP averages 47 non-zero terms per query and 190 per document. SPLADE-v3 averages 25 and 170. With the Seismic inverted index, it reaches over 97% recall against exact search in about 380 microseconds per query, single-threaded. Linkup says inflating vector size could add 1 to 2 BEIR points, but it chose to stay sparse.
在 MS MARCO 上，SPARSEUP 每个查询平均有 47 个非零项，每篇文档平均有 190 个。SPLADE-v3 的平均值分别为 25 和 170。使用 Seismic 倒排索引时，它在每次查询约 380 微秒（单线程）内即可达到超过 97% 的召回率，与精确搜索相比。Linkup 表示，增加向量大小可能会提升 1 到 2 个 BEIR 分数，但它选择保持稀疏。
Key Takeaways
关键要点
- SPARSEUP is Linkup Research’s first open model: a 149M-parameter sparse encoder under Apache 2.0.
- It scores 56.4 nDCG@10 on BEIR-13, top among public sparse encoders under 150M, per Linkup.
- 3 fixes drive it: a logit shift of 15, top-12 expansion per token, and case folding.
- With identical data, it trails DenseOn by 1.52 points and LateOn by 2.5 on BEIR-13.
- It reaches over 97% recall in about 380µs per query with Seismic on MS MARCO.
- SPARSEUP 是 Linkup Research 推出的首款开源模型：一个拥有 1.49 亿参数的稀疏编码器，采用 Apache 2.0 许可证。
- 根据 Linkup 的说法，它在 BEIR-13 上的 nDCG@10 得分为 56.4，在 1.5 亿参数以下的公开稀疏编码器中排名第一。
- 其三大改进包括：15 的对数位移、每个 token 的前 12 项扩展以及大小写折叠。
- 在使用相同数据的情况下，它在 BEIR-13 上落后于 DenseOn 1.52 分，落后于 LateOn 2.5 分。
- 在 MS MARCO 上使用 Seismic，它能在每次查询约 380 微秒内达到超过 97% 的召回率。
Check out the Model Weights and Technical Details. All credit goes to the researcher of this project. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
查看模型权重和技术细节。所有功劳都归于该项目的研究人员。此外，欢迎在 Twitter 上关注我们，别忘了加入我们有 15 万+成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等吗？请联系我们
The post Linkup Research Releases SPARSEUP: A 149M-Parameter Open-Source Sparse Embedding Model appeared first on MarkTechPost.
文章“Linkup Research 发布 SPARSEUP：一款 1.49 亿参数的开源稀疏嵌入模型”首发于 MarkTechPost。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力