Strata:12G显存本地运行千亿参数模型
Strata:12G显存就能跑千亿参数的模型
推荐理由
低资源部署硬核实践,12G 显存跑千亿参数极具复用价值,开发者可直接参考配置压测本地链路。
Strata:12G显存就能跑千亿参数的模型
在12GB显存的普通电脑上,本地运行125B参数的Qwen3.8-Flash-Next模型。Strata把最常用的专家模型常驻在显卡,全量模型放在内存,由显卡、内存和固态硬盘协同完成推理与投机采样。
这个项目堪称超神,12G显存+64G内存可以跑Qwen3.8-Flash-Next全版本的模型,即使32G内存也能跑Coder版本的模型。Qwen3.8-Flash-Next能力不差,重复性日常任务都能完成。
Github:https://github.com/Niko1221/Strata#which-model-should-i-pick
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力