vLLM Semantic Router发布Decision 3.0开源决策模型
What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models
Agent路由场景急需低延迟决策组件，这套开源模型直接输出概率且覆盖多模态，建议做系统编排的同学关注其工程集成方案。
The vLLM Semantic Router team has released Decision 3.0, a family of multimodal decision models. Decision 3.0 multimodal decision models read text, JSON and images, then answer typed questions about them. There are 5 sizes, from 0.8B to 27B, all under Apache-2.0. For developers, this is a fast way to classify, route and gate requests without parsing generated text.
vLLM Semantic Router 团队发布了 Decision 3.0，这是一系列多模态决策模型。Decision 3.0 多模态决策模型可以读取文本、JSON 和图像，然后回答关于它们的类型化问题。共有 5 种尺寸，从 0.8B 到 27B 不等，均采用 Apache-2.0 许可证。对于开发者而言，这是一种在不解析生成文本的情况下快速分类、路由和门控请求的快速方法。
TL;DR
TL;DR（太长不看）
- Size: 5 models: d3-lite (0.85B), d3-nano (2.21B), d3-mini (4.54B), d3-flash (8.39B), d3 (26.09B). Context length: not disclosed.
- Runs on: latency measured on 1 AMD Instinct MI325X GPU. BF16 weights; no official quantized variants listed.
- Performance: the 27B d3 leads both the text and vision tables in its card, but on internal evaluation.
- Best: 97.7 on KIE (CORD+FUNSD) document extraction (d3).
- Worst: 34.1 on R-Bench-M (d3).
- Bottom line:
- Best: a 9B model now beats last generation’s 27B.
- Worst: scores are self-reported against live board data.
- 尺寸：5 个模型：d3-lite (0.85B)、d3-nano (2.21B)、d3-mini (4.54B)、d3-flash (8.39B)、d3 (26.09B)。上下文长度：未公开。
- 运行环境：延迟在 1 块 AMD Instinct MI325X GPU 上测量。使用 BF16 权重；未列出官方量化变体。
- 性能：27B 的 d3 在其卡片中的文本和视觉表格中均领先，但这是基于内部评估。
- 最佳表现：在 KIE (CORD+FUNSD) 文档提取任务中达到 97.7（d3）。
- 最差表现：在 R-Bench-M 任务中得分为 34.1（d3）。
- 结论：
- 最佳表现：一个 9B 模型现在超越了上一代的 27B 模型。
- 最差表现：分数是自我报告的，针对的是实时榜单数据。
What is Decision 3.0?
什么是 Decision 3.0？
Decision 3.0 is a set of open decision models from vLLM Semantic Router that return probabilities instead of text. You pass a state (text or JSON), optional images, and named questions. Each question is a Choice, a Yes/No, or a Score on a scale. The model answers all questions in one call and returns a probability for every answer.
Decision 3.0 是 vLLM Semantic Router 推出的一组开源决策模型，它们返回概率而非文本。你传入状态（文本或 JSON）、可选的图像以及命名的问题。每个问题都是一个选项（Choice）、是/否（Yes/No），或者是一个量表上的评分（Score）。模型在一次调用中回答所有问题，并为每个答案返回概率。
This is the ‘system one’ pattern for routers and guardrails. Instead of prompting an LLM and parsing its output, you get calibrated scores you can threshold.
这是路由器和护栏的“系统一”模式。与其提示 LLM 并解析其输出，不如获得可设定阈值的校准分数。
How does d3 work?
d3 是如何工作的？
Each model is a fine-tune of a Qwen base. The 27B d3 is built on Qwen3.8-27B. The smaller 4 build on Qwen3.5 checkpoints at 0.8B, 2B, 4B and 9B.
每个模型都是 Qwen 基础的微调版本。27B 的 d3 构建于 Qwen3.8-27B 之上。较小的 4 个模型构建于 Qwen3.5 检查点之上，分别为 0.8B、2B、4B 和 9B。
Every size carries a vision encoder: 0.10B in d3-lite, 0.33B in d3-nano and d3-mini, and 0.46B in d3-flash and d3. Requests accept several PNG, JPEG or WebP images, each read at up to 1.6 megapixels. Every question sees all images.
每种尺寸都携带一个视觉编码器：d3-lite 为 0.10B，d3-nano 和 d3-mini 为 0.33B，d3-flash 和 d3 为 0.46B。请求接受多个 PNG、JPEG 或 WebP 图像，每个图像的读取分辨率最高可达 1.6 兆像素。每个问题都会看到所有图像。
Each question gets its own forward pass over the input. Install targets transformers==5.17.0, and the optional flash-linear-attention package speeds up the linear-attention layers. Loading needs trust_remote_code=True.
每个问题都会对输入进行一次前向传播。安装目标包括 transformers==5.17.0，可选的 flash-linear-attention 包可加速线性注意力层。加载时需要设置 trust_remote_code=True。
How does Decision 3.0 perform on benchmarks?
Decision 3.0 在基准测试中的表现如何？
Through the model card, the research team state the Jev Decision Index 0.3.1, a board that ranks open reproductions of TypeSafe’s Jev decision system. d3 numbers are the team’s internal evaluation.
通过模型卡片，研究团队提到了 Jev Decision Index 0.3.1，这是一个对 TypeSafe 的 Jev 决策系统的开源复现进行排名的榜单。d3 的数据是该团队的内部评估结果。
On text, d3 scores 64.1, ahead of Perplexity Decider v1.1 (62.8) and Jev (60.1). One caveat: Torchcast Decision 27B posts a higher public-suite score (65.1 vs 64.9). On the vision board, d3 scores 71.6 against 70.6 for Perplexity Decider v1.1.
在文本方面，d3 得分为 64.1，领先于 Perplexity Decider v1.1（62.8）和 Jev（60.1）。一个需要注意的情况是：Torchcast Decision 27B 在公共套件上的得分更高（65.1 vs 64.9）。在视觉榜单上，d3 得分为 71.6，而 Perplexity Decider v1.1 为 70.6。
The size story is the strongest part. d3-flash (9B) scores 59.0, above Decision 2.0’s 27B at 55.9. On the public suite, gains over Decision 2.0 range from +8.0 (27B) to +15.1 (0.8B).
规模优势是最显著的部分。d3-flash（9B）得分为 59.0，高于 Decision 2.0 的 27B 模型（55.9）。在公共套件上，相较于 Decision 2.0 的提升幅度从 +8.0（27B）到 +15.1（0.8B）不等。
Class leadership is not uniform, though:
不过，各类别的领先地位并不一致：
- d3-mini (4B) and d3-flash (9B) lead both their text and vision tables.
- d3-lite (0.8B) leads on text but ranks 3rd on vision (41.1, behind JPT-0.8B at 42.1).
- d3-nano (2B) leads its vision table but trails LiquidAI d1-3B on text (35.8 vs 40.1).
- d3-mini（4B）和 d3-flash（9B）在各自的文本和视觉表格中均位列第一。
- d3-lite（0.8B）在文本方面领先，但在视觉方面排名第三（41.1，落后于 JPT-0.8B 的 42.1）。
- d3-nano（2B）在视觉表格中领先，但在文本方面落后于 LiquidAI d1-3B（35.8 vs 40.1）。
On public vision tasks, d3 scores 97.3 on InfographicVQA and 89.9 on Mind2Web, both approximate rebuilds. It is weaker on MMMU-Pro vision (46.2) and Hateful Memes moderation (44.6).
在公共视觉任务上，d3 在 InfographicVQA 上得分为 97.3，在 Mind2Web 上得分为 89.9，两者均为近似重建版本。它在 MMMU-Pro 视觉（46.2）和仇恨表情包审核（44.6）方面表现较弱。
How fast are the models?
这些模型的运行速度如何？
Medians below are for 1 request at a time on 1 AMD Instinct MI325X, per each card:
以下中位数数据基于每张 AMD Instinct MI325X 显卡每次处理 1 个请求的情况：
- d3-nano: 21.7 ms text, 92.0 ms with an image
- d3-lite: 23.5 ms text, 60.7 ms with an image
- d3-mini: 28.5 ms text, 115.0 ms with an image
- d3-flash: 29.7 ms text, 171.8 ms with an image
- d3: 84 ms text, 342 ms with an image
- d3-nano：文本 21.7 毫秒，带图像 92.0 毫秒
- d3-lite：文本 23.5 毫秒，带图像 60.7 毫秒
- d3-mini：文本 28.5 毫秒，带图像 115.0 毫秒
- d3-flash：文本 29.7 毫秒，带图像 171.8 毫秒
- d3：文本 84 毫秒，带图像 342 毫秒
All models were trained on AMD Instinct MI325X GPUs.
所有模型均在 AMD Instinct MI325X GPU 上训练。
How does d3 compare with other decision models?
d3 与其他决策模型相比如何？
| Feature | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| Parameters | 26.09B | 26B (HF listing) | 29.37B | 3.12B |
| Base model | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| Inputs | Text, JSON, images | Text, images | Text, JSON | Text, JSON, images |
| Context | Not disclosed | 8,192 tokens per decision | 32,768 tokens | 32,768 tokens |
| License | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Decision Index (own card) | 64.1 (v0.3.1, internal) | 61.56 (version not stated) | 56.5 (v0.2.1) | 48.57 (v0.2.1) |
| Index 0.3.1 board (per d3 cards) | 64.1 | 62.8 | 55.9 | 40.1 |
| Vision board 0.3.1 | 71.6 | 70.6 | Not disclosed (text only) | Not disclosed |
| Median latency (own card) | 84 ms text, 1 MI325X | Not disclosed | 71.4 ms, 1 GPU | 9 ms, 1 MI325X |
| 特性 | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| 参数 | 26.09B | 26B (HF 列表) | 29.37B | 3.12B |
| 基础模型 | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| 输入 | 文本、JSON、图像 | 文本、图像 | 文本、JSON | 文本、JSON、图像 |
| 上下文 | 未披露 | 每次决策 8,192 tokens | 32,768 tokens | 32,768 tokens |
| 许可证 | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| 决策指数（自有卡片） | 64.1 (v0.3.1, 内部) | 61.56 (未说明版本) | 56.5 (v0.2.1) | 48.57 (v0.2.1) |
| Index 0.3.1 榜单（基于 d3 卡片） | 64.1 | 62.8 | 55.9 | 40.1 |
| 视觉榜单 0.3.1 | 71.6 | 70.6 | 未披露（仅文本） | 未披露 |
| 中位延迟（自有卡片） | 文本 84 毫秒，1 张 MI325X | 未披露 | 71.4 毫秒，1 张 GPU | 9 毫秒，1 张 MI325X |
Key Takeaways
关键要点
- 5 Apache-2.0 decision models, 0.8B to 27B, all with image input.
- d3 (27B) tops its text (64.1) and vision (71.6) tables, on internal evals.
- The 9B d3-flash (59.0) beats Decision 2.0’s 27B (55.9).
- The 0.8B and 2B models do not lead every board.
- Median text latency runs 21.7 to 84 ms on 1 MI325X.
- 5 款 Apache-2.0 许可的决策模型，参数量从 0.8B 到 27B 不等，均支持图像输入。
- d3（27B）在内部评估中，其文本（64.1）和视觉（71.6）表格均位列第一。
- 9B 的 d3-flash（59.0）击败了 Decision 2.0 的 27B 模型（55.9）。
- 0.8B 和 2B 模型并未在所有榜单中均位列第一。
- 在单张 MI325X 上，文本中位延迟范围为 21.7 至 84 毫秒。
Check out the Hugging Face collection, the d3 model card and the vLLM Semantic Router GitHub repo. All credit goes to the researcher of this project. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
查看 Hugging Face 合集、d3 模型卡片以及 vLLM Semantic Router GitHub 仓库。所有功劳归于该项目的研究人员。此外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你还在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力