跳到主内容
@wquguru
精选88Gorden Sun技巧与观点

Strata:12G显存本地运行千亿参数模型

Strata:12G显存就能跑千亿参数的模型

原文
发到 X
推荐理由

低资源部署硬核实践,12G 显存跑千亿参数极具复用价值,开发者可直接参考配置压测本地链路。

Strata:12G显存就能跑千亿参数的模型

在12GB显存的普通电脑上,本地运行125B参数的Qwen3.8-Flash-Next模型。Strata把最常用的专家模型常驻在显卡,全量模型放在内存,由显卡、内存和固态硬盘协同完成推理与投机采样。

这个项目堪称超神,12G显存+64G内存可以跑Qwen3.8-Flash-Next全版本的模型,即使32G内存也能跑Coder版本的模型。Qwen3.8-Flash-Next能力不差,重复性日常任务都能完成。

Github:https://github.com/Niko1221/Strata#which-model-should-i-pick

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

关联讨论

同一事件的更多信源

相似阅读

关联信息,但可能不是同一事件