NVIDIA发布Nemotron 3.5 Bolt 74B视觉语言模型
nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · Hugging Face
NVIDIA开源的端侧高效VLM，24GB显存跑74B参数且支持视频输入，对本地Agent开发极具参考价值，建议关注其量化效果与部署配置。
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB is a vision-language model (VLM) designed to run everyday agentic tasks locally, using a native 2-bit quantization to fit in 24GB of memory and run alongside other applications. It optimizes intelligence and speed per GB. It aims to achieve the optimal balance between speed and intelligence, being faster than most popular dense models while smarter than most popular MoE models with a similar memory footprint.
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一个视觉语言模型（VLM），旨在通过原生 2-bit 量化技术适配 24GB 内存，从而在本地运行日常智能体任务，并与其他应用程序并行运行。它优化了每 GB 的智能化水平和速度。其目标是在速度与智能化之间实现最佳平衡，在保持与大多数流行 MoE 模型相似内存占用的同时，比大多数流行的稠密模型更智能，且速度更快。
This model is ready for commercial or non‑commercial use.
该模型已准备好用于商业或非商业用途。
Model Summary
模型摘要
| Total Parameters | 74B (9B active) |
|---|---|
| Architecture | Mamba-2–Transformer hybrid LatentMoE with a C-RADIO v4-H vision encoder |
| Precision | IQ2 (2-bit quantization with quantization-aware training) |
| Context Length | Up to 256K tokens |
| Inputs / Outputs | Text, images, and video / text |
| Deployment | 24GB packed model; vLLM on NVIDIA Ampere (A100), Hopper (H100-80GB), or Blackwell |
| Speculative Decoding | LiLiCorr drafter via DFlash; 7 speculative tokens in the companion Bolt vLLM recipes |
| Reasoning Mode | Chat-template controls (enable_thinking=True/False), inherited from the Super 3.5 VL client |
| Recommended Sampling | Text: temperature 1.0, top_p 0.95 (inherited from the Super 3.5 VL client) |
| Best For | Running everyday agentic tasks locally |
| License | OpenMDW-1.1 |
| 总参数量 | 74B（9B 活跃） |
|---|---|
| 架构 | Mamba-2–Transformer 混合 LatentMoE，配备 C-RADIO v4-H 视觉编码器 |
| 精度 | IQ2（带量化感知训练的 2-bit 量化） |
| 上下文长度 | 最高 256K tokens |
| 输入 / 输出 | 文本、图像和视频 / 文本 |
| 部署 | 24GB 打包模型；vLLM 支持 NVIDIA Ampere (A100)、Hopper (H100-80GB) 或 Blackwell |
| 推测解码 | 通过 DFlash 使用 LiLiCorr 草稿生成器；配套 Bolt vLLM 食谱中包含 7 个推测 token |
| 推理模式 | Chat-template 控制（enable_thinking=True/False），继承自 Super 3.5 VL 客户端 |
| 推荐采样 | 文本：temperature 1.0, top_p 0.95（继承自 Super 3.5 VL 客户端） |
| 最佳用途 | 在本地运行日常智能体任务 |
| 许可证 | OpenMDW-1.1 |
Model Overview
模型概览
Model Developer: NVIDIA Corporation
模型开发者：英伟达公司
Model Dates: December 2025 - May 2026
模型日期：2025年12月 - 2026年5月
Data Freshness:
数据新鲜度：
- The post-training data has a cutoff date of May 2026.
- 后训练数据的截止日期为 2026 年 5 月。
What is Nemotron?
什么是 Nemotron？
NVIDIA Nemotron™ is a family of open models with open weights, training data, and recipes, delivering leading efficiency and accuracy for building specialized AI agents.NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB is a vision-language model (VLM) designed to run everyday agentic tasks locally, using a native 2-bit quantization to fit in 24GB of memory and run alongside other applications. It optimizes intelligence and speed per GB. It aims to achieve the optimal balance between speed and intelligence, being faster than most popular dense models while smarter than most popular MoE models with a similar memory footprint.
NVIDIA Nemotron™ 是一系列开源模型，拥有开放权重、训练数据和食谱，为构建专用 AI 智能体提供领先的效率和准确性。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一个视觉语言模型（VLM），旨在通过原生 2-bit 量化技术适配 24GB 内存，从而在本地运行日常智能体任务，并与其他应用程序并行运行。它优化了每 GB 的智能化水平和速度。其目标是在速度与智能化之间实现最佳平衡，在保持与大多数流行 MoE 模型相似内存占用的同时，比大多数流行的稠密模型更智能，且速度更快。
This model is ready for commercial or non‑commercial use.
该模型已准备好用于商业或非商业用途。
bolt!
bolt！
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力