Strata：12GB显存运行125B模型，CPU+SSD协同推理方案

无敌了，12 GB 显存的 RTX 5070 也能跑 125B 参数的 Qwen3.8-Flash-Next，3-bit 量化，128K 上下文，tok/s 达 45。

原理很简单，主要还是在存储分层： - 最常用的几千个专家放在显存中，内存则保存全部专家 - 显卡算力不够的情况下，部分计算任务交给 CPU 同时进行 - 28 GB 的查找表则放在 SSD 中 - 另外，让模型先猜几个词、再一次性检查，速度快了 1.6–1.8 倍，但是结果质量仍然有保障

一台游戏 PC 加 64 GB 内存就够，数据不出本机，开源免费 👇

http://github.com/Niko1221/Strata