vLLM发布d3-ultra：27B开源多模态决策模型
vLLM Semantic Router Releases d3-ultra: A 27B Open Multimodal Decision Model
这是首个开源的多模态决策模型，彻底改变了Agent工具调用的范式，用单次推理替代多次LLM调用，做Agent开发的同学值得重点关注并压测性能。
The vLLM Semantic Router team has released d3-ultra, a 27B multimodal decision model under Apache-2.0. The d3-ultra decision model does not generate text. It reads an input once and returns a probability for every answer to every question. For developers, that means routing, classification, visual grounding and video checks from 1 open-weight call.
vLLM Semantic Router 团队发布了 d3-ultra，这是一个基于 Apache-2.0 许可证的 27B 多模态决策模型。d3-ultra 决策模型不生成文本。它一次性读取输入，并为每个问题的每个答案返回一个概率。对开发者而言，这意味着只需一次开放权重的调用，即可实现路由、分类、视觉定位和视频检查。
TL;DR
TL;DR（太长不看版）
- Size: 26.09B parameters (dense, including a 0.46B vision encoder); 131,072 tokens of context per question.
- Runs on: tested on 1 AMD Instinct MI325X with BF16 weights; no official quantized variant is listed yet.
- Performance: highest SR-Text score of the 6 decision models in the team’s own private test.
- Best: 97.8 on SR-Text tools and automation (chance-corrected accuracy).
- Worst: 54.6% on SR-Box (9 domains), 5.0 points below its sibling d3-turbo.
- 规模：260.9 亿参数（稠密模型，包含一个 4.6 亿的视觉编码器）；每个问题支持 131,072 个 token 的上下文。
- 运行环境：已在配备 BF16 权重的单张 AMD Instinct MI325X 上测试；目前尚未列出官方量化版本。
- 性能：在团队内部私有测试中，其 SR-Text 得分在所有 6 个决策模型中最高。
- 最佳表现：在 SR-Text 工具和自动化任务上得分为 97.8（机会校正准确率）。
- 最差表现：在 SR-Box（9 个领域）上得分为 54.6%，比其同门兄弟模型 d3-turbo 低 5.0 分。
What is d3-ultra?
什么是 d3-ultra？
d3-ultra is a System One decision model from vLLM Semantic Router that answers typed questions with probabilities. It is the newest member of Decision 3.0, a family that spans 0.6B to 27B.
d3-ultra 是 vLLM Semantic Router 推出的 System One 决策模型，通过概率回答类型化的问题。它是 Decision 3.0 家族的最新成员，该家族涵盖从 0.6B 到 27B 的多种规模。
You send a state (text or JSON, plus images or videos) and a set of questions. Each question has a type:
你发送一个状态（文本或 JSON，加上图片或视频）以及一组问题。每个问题都有一个类型：
- Choice: pick 1 of several options.
- Yes / No: return the probability of yes.
- Score: rate on a scale.
- Box: locate something in an image or a video moment.
- Track: follow a target across a whole video.
- Choice（选择）：从多个选项中选择一个。
- Yes / No（是/否）：返回“是”的概率。
- Score（评分）：在量表上进行评级。
- Box（框选）：在图片或视频帧中定位某个目标。
- Track（追踪）：在整个视频中跟踪目标。
Images can also sit inside questions and options. A quiz can show a photo, then offer 4 etchings as answers.
图片和视频也可以嵌入问题和选项中。例如，测验可以展示一张照片，然后提供 4 幅版画作为答案选项。
How does d3-ultra work?
d3-ultra 是如何工作的？
The core idea is state once. The model reads the input once per request and answers every question from that single read.
核心理念是“状态只读一次”。模型在每个请求中仅读取一次输入，并基于这单次读取回答所有问题。
The config shows a Qwen3.5-architecture backbone with 64 layers. 48 are linear-attention layers and 16 are full-attention layers. The card does not name its base checkpoint. vLLM’s recipe says the sibling d3 was trained from Qwen3.8-27B.
配置显示其主干网络采用 Qwen3.5 架构，共 64 层。其中 48 层为线性注意力层，16 层为全注意力层。卡片未指明其基础检查点（checkpoint）。vLLM 的配方说明指出，其兄弟模型 d3 是从 Qwen3.8-27B 训练而来的。
Box answers always return exactly 1 box with a confidence. A confidence near 0 means the target is not in the picture. Questions over 131,072 tokens fail with max_length_exceeded; nothing is silently truncated.
Box 类型的回答始终返回恰好 1 个边界框及其置信度。接近 0 的置信度意味着目标不在图片中。超过 131,072 个 token 的问题会因 max_length_exceeded（超出最大长度）而失败；不会静默截断任何内容。
How does d3-ultra perform on benchmarks?
d3-ultra 在基准测试中的表现如何？
The research team compares d3-ultra with GLiDE V1.2, d1-ultra, d3-turbo, d3 and Jev 1.14 on 2 in-house tests.
研究团队在两项内部测试中将 d3-ultra 与 GLiDE V1.2、d1-ultra、d3-turbo、d3 和 Jev 1.14 进行了比较。
SR-Text has 10,411 text requests with 73,495 questions. Most recreate skills from 34 public benchmarks with new items. Another 4,896 questions come from 43 new task families, like SQL checks and ticket routing. Scores are chance-corrected: 0 is chance, 100 is perfect.
SR-Text 包含 10,411 个文本请求，共计 73,495 个问题。大多数问题重现了来自 34 个公开基准的技能，并加入了新项。另外 4,896 个问题来自 43 个新的任务家族，如 SQL 检查和工单路由。分数经过机会校正：0 代表随机猜测，100 代表完美。
- d3-ultra: 87.2
- GLiDE V1.2: 85.1
- d1-ultra: 83.4
- d3-turbo: 83.1
- d3: 81.4
- Jev 1.14: 73.1
- d3-ultra：87.2
- GLiDE V1.2：85.1
- d1-ultra：83.4
- d3-turbo：83.1
- d3：81.4
- Jev 1.14：73.1
d3-ultra leads every area except arts and human taste. There, d1-ultra scores 90.8 against 89.6, within the margin of error.
d1-ultra 在除艺术和人类品味之外的所有领域均领先。在这些领域，d1-ultra 得分为 90.8，而另一模型为 89.6，处于误差范围内。
SR-Box has 5,678 Box questions on 4,984 images across 10 domains. A box counts as correct at IoU 0.5 or higher. d3-ultra scores 58.2% over 10 domains and 54.6% over 9. d3-turbo scores 60.0% and 59.6%. Jev 1.14 scores 45.7% and 46.9%. The team says d3-turbo stays stronger on natural images, while d3-ultra leads on charts.
SR-Box 包含 5,678 个框选问题，涉及 4,984 张图像，涵盖 10 个领域。IoU（交并比）达到 0.5 或以上即计为正确。d3-ultra 在 10 个领域的平均得分为 58.2%，在 9 个领域的平均得分为 54.6%。d3-turbo 的得分分别为 60.0% 和 59.6%。Jev 1.14 的得分分别为 45.7% 和 46.9%。团队表示，d3-turbo 在处理自然图像时表现更强，而 d3-ultra 在图表处理上领先。
Latency: on 1 AMD Instinct MI325X with AutoModel, 1 question about a photo takes 304 ms. 255 questions take 2.16 s, about 7.3 ms per extra question.
延迟：在配备 AutoModel 的 1 块 AMD Instinct MI325X 上，回答一张照片的问题需 304 毫秒。255 个问题共耗时 2.16 秒，每个额外问题约增加 7.3 毫秒。
How do you deploy d3-ultra?
如何部署 d3-ultra？
There are 4 routes:
共有 4 种途径：
- Transformers: AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True) with transformers==5.17.0. The optional flash-linear-attention package adds fast GPU kernels.
- vLLM Semantic Router Engine: vllm-sr serve -e vllm-sr/d3-ultra, added in PR #5449 on October 25, 2026.
- Free API: the card says decision.vllm-sr.ai serves d3-ultra, with a free key.
- Demo: the official Hugging Face Space.
- Transformers：使用 transformers==5.17.0 运行 AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)。可选的 flash-linear-attention 包可提供快速的 GPU 内核支持。
- vLLM Semantic Router Engine：通过命令 vllm-sr serve -e vllm-sr/d3-ultra 启动，该功能于 2026 年 10 月 25 日在 PR #5449 中添加。
- 免费 API：卡片说明指出 decision.vllm-sr.ai 提供 d3-ultra 服务，并提供免费密钥。
- 演示：官方 Hugging Face Space。
d3-ultra vs GLiDE V1.2, d1-ultra, Jev 1.14 and d3-turbo
d3-ultra 与 GLiDE V1.2、d1-ultra、Jev 1.14 及 d3-turbo 对比
| Feature | d3-ultra | d3-turbo | GLiDE V1.2 | d1-ultra | Jev 1.14 |
|---|---|---|---|---|---|
| Developer | vLLM Semantic Router | vLLM Semantic Router | Fastino Labs | Liquid AI | TypeSafe |
| Parameters | 26.09B | 26.09B | 26B | Not disclosed | Not disclosed |
| Context per question | 131,072 | 32,768 default; 131,072 with long_context | 40,000 default | 32,768 | 262,144 |
| Weights / license | Open, Apache-2.0 | Open, Apache-2.0 | Open, Fastino Community License | Hosted only | Hosted only, proprietary |
| Inputs | Text, JSON, images, video | Text, JSON, images, video | Text, JSON, images | Text, images | Text, images |
| Box / track | Box + track | Box + track | No | No | Box only |
| SR-Text (self-reported by vLLM-SR) | 87.2 | 83.1 | 85.1 | 83.4 | 73.1 |
| SR-Box, 10 domains | 58.2% | 60.0% | Not supported | Not supported | 45.7% |
| Public index score | Submitted, not yet on board | 70.2 Jev DI (own estimate) | 71.5 Decision Index 0.4.1 | 65 AA Decision Index | 57 AA Decision Index |
| Price | Free API, self-host | Free API, self-host | $0.04 / M input | $0.042 / M input | $0.042 / M input |
| 特性 | d3-ultra | d3-turbo | GLiDE V1.2 | d1-ultra | Jev 1.14 |
|---|---|---|---|---|---|
| 开发者 | vLLM Semantic Router | vLLM Semantic Router | Fastino Labs | Liquid AI | TypeSafe |
| 参数量 | 26.09B | 26.09B | 26B | 未公开 | 未公开 |
| 每问题上下文长度 | 131,072 | 默认 32,768；启用 long_context 时为 131,072 | 默认 40,000 | 32,768 | 262,144 |
| 权重/许可证 | 开源，Apache-2.0 | 开源，Apache-2.0 | 开源，Fastino 社区许可证 | 仅托管 | 仅托管，专有 |
| 输入类型 | 文本、JSON、图像、视频 | 文本、JSON、图像、视频 | 文本、JSON、图像 | 文本、图像 | 文本、图像 |
| 框选/追踪 | 框选 + 追踪 | 框选 + 追踪 | 不支持 | 不支持 | 仅框选 |
| SR-Text（vLLM-SR 自报） | 87.2 | 83.1 | 85.1 | 83.4 | 73.1 |
| SR-Box，10 个领域 | 58.2% | 60.0% | 不支持 | 不支持 | 45.7% |
| 公共索引得分 | 已提交，尚未上榜 | 70.2 Jev DI（自行估算） | 71.5 Decision Index 0.4.1 | 65 AA Decision Index | 57 AA Decision Index |
| 价格 | 免费 API，自建托管 | 免费 API，自建托管 | $0.04 / M 输入 | $0.042 / M 输入 | $0.042 / M 输入 |
Key Takeaways
关键要点
- d3-ultra is a 27B Apache-2.0 decision model that never generates text.
- It reads input once: 255 questions about 1 photo take 2.16 s.
- It tops the team’s SR-Text test at 87.2, ahead of GLiDE V1.2 at 85.1.
- It trails d3-turbo on Box grounding: 58.2% vs 60.0%.
- All benchmark numbers are self-reported on private test sets.
- d3-ultra 是一个基于 Apache-2.0 协议的 27B 决策模型，从不生成文本。
- 它仅读取一次输入：针对一张照片的 255 个问题共耗时 2.16 秒。
- 它在团队的 SR-Text 测试中以 87.2 分位居榜首，领先于得分为 85.1 的 GLiDE V1.2。
- 它在框选定位（Box grounding）方面落后于 d3-turbo：58.2% 对比 60.0%。
- 所有基准数据均为在私有测试集上自报的结果。
Check out the model card, the GitHub repo, the Decision 3.0 collection and the Hugging Face Space. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
请查看模型卡片、GitHub 仓库、Decision 3.0 合集以及 Hugging Face Space。此外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你也在 Telegram 上吗？现在你也可以加入我们的 Telegram 群组。
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力