跳到主内容
@wquguru
精选88r/LocalLLaMA(Reddit)产品发布/更新

Basalt 0.4.0发布:新增Qwen3.8-27B模型及多模型路由支持

Basalt 0.4.0: More models, still as fast - Qwen 27B up to 770 tok/s on a 5090

原文
发到 X
推荐理由

本地部署开发者关注的高性能推理引擎更新,Qwen3.8-27B 在 RTX 5090 上跑出极高吞吐,实测数据详实,值得压测参考。

Hi everyone! I wanted to post a quick update on Basalt. Since last I posted, multi model and router support was implemented, starting with DeepSeek V4.1 Flash (IQ1_M 90 tok/s conv, 246 tok/s struct on a 5090 + 5060 Ti). Also new: video support, files in chats, and a bunch of fixes and improvements.

大家好!我想发一个关于 Basalt 的快速更新。自上次发布以来,已实现多模型和路由器支持,首先从 DeepSeek V4.1 Flash 开始(在 5090 + 5060 Ti 上,IQ1_M 量化下对话速度为 90 tok/s,结构化输出为 246 tok/s)。新增功能还包括:视频支持、聊天中的文件功能,以及大量修复和改进。

Now 0.4.0 is out featuring Basalt's first dense model, Qwen 3.8 27B. It's fast and accurate, top-1 92.8% vs the full BF16 model. This, in preparation for Qwen 4, so we had a headstart on the dense kernels.

现在 0.4.0 版本已发布,带来了 Basalt 的第一个密集模型 Qwen 3.8 27B。它速度快且准确,Top-1 准确率达到 92.8%,而完整的 BF16 模型则更高。这是为了准备 Qwen 4 所做的铺垫,因此我们在密集内核方面领先了一步。

The numbers:

具体数据如下:

  • Up to 776 tok/s on structured output, 262 conversation, 194 on prose. Single stream.
  • Prefill, 12,000 tok/s at 4k (slower as context grows)
  • 92.8% top-1 vs BF16 (0.0262 KLD)
  • Chat, tools, thinking, images and video, up to 262K context
  • 结构化输出最高可达 776 tok/s,对话模式 262 tok/s,散文生成 194 tok/s。单流处理。
  • 预填充阶段:4k 上下文时可达 12,000 tok/s(随着上下文增长会变慢)
  • 与 BF16 相比 Top-1 准确率为 92.8%(KLD 差异为 0.0262)
  • 支持聊天、工具调用、思维链、图像和视频,上下文长度最高达 262K

Links:

相关链接:

GitHub: https://github.com/jesdga95/basalt

Site: https://basalt.jgulfo.com

官网: https://basalt.jgulfo.com

27B quant: https://huggingface.co/jesdga/Qwen3.8-27B-Basalt

27B 量化版: https://huggingface.co/jesdga/Qwen3.8-27B-Basalt

Thanks to everyone who has filed issues, sent PRs or posted benchmark rows, special thanks to the sponsors who keep this going, happy to see Basalt gain so much traction in such a very short time!

感谢所有提交问题、发送 PR 或发布基准测试结果的贡献者,特别感谢维持项目持续运行的赞助商,很高兴看到 Basalt 在短时间内获得如此多的关注!

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件