Mac M3 Max 64GB 运行 Qwen3.8-Flash
OMG! If you have a Mac with 64GB, try Qwen3.8-Flash-Next-oQ4e-mtp with oMLX!
给本地部署玩家的一份硬核参考，详细列出了在 64GB Mac 上跑超大模型的量化格式、oMLX 关键参数及真实吞吐数据，直接照做即可复现。
I'm genuinely shocked! I was able to run Qwen3.8-Flash-Next-oQ4e-mtp on M3Max 64GB with oMLX!
我真的震惊了！我竟然能在配备 M3Max 64GB 内存的 Mac 上，通过 oMLX 运行 Qwen3.8-Flash-Next-oQ4e-mtp！
Yes, there are other 3bit quants for 64GB Mac, but 4bit is the lowest quant I'd tolerate. I manually quantized the original model from the Qwen repo to OQ4E using oMLX, and it turned out to be about 4.72 BPW.
是的，确实有其他针对 64GB Mac 的 3bit 量化版本，但 4bit 是我能容忍的最低量化精度。我使用 oMLX 将 Qwen 仓库中的原始模型手动量化为 OQ4E，结果约为 4.72 BPW（每参数比特数）。
Even a couple of weeks ago, I wasn't able to get it to run. I just tried the latest commit for fun, and it worked! It feels like some kind of sorcery to be able to run a 100GB model with 58GB allocated to GPU!
就在几周前，我还无法让它运行起来。我只是出于好奇试了一下最新的提交版本，结果竟然成功了！能够在 GPU 分配 58GB 内存的情况下运行一个 100GB 的模型，简直像魔法一样不可思议！
If I just feed it 4K tokens and generate 1K tokens, I can get up to 30 tok/s. I can even run up to 130k context window! Of course, I could just call it a day there and hype it up.
如果我只输入 4K tokens 并生成 1K tokens，速度可以达到每秒 30 个 token。我甚至能运行长达 130k 的上下文窗口！当然，我完全可以就此打住并大肆吹捧一番。
However, here is a realistic stat after running an actual short session with PI.
不过，以下是使用 PI 进行实际简短会话后得出的真实数据。
- Requests: 13
- Total Prefill Tokens: 321,309
- Cached Tokens: 292,209
- Cache Efficiency: 90.9%
- Prompt Processing (excl. cached): 140.0 tok/s
- Token Generation: 15.8 tok/s
- 请求数：13
- 总预填充 Tokens：321,309
- 缓存 Tokens：292,209
- 缓存效率：90.9%
- 提示处理速度（不含缓存）：140.0 tok/s
- Token 生成速度：15.8 tok/s
Here are the settings I used on oMLX:
以下是我在 oMLX 中使用的设置：
- Memory guard: Aggressive
- Hot Cache Limit (In-Memory Cache): 2GB
- SSD N-gram Offload: on
- Lightning MTP: on
- MoE Expert Offload: on
- RESIDENT EXPERTS: 50%
- 内存保护：激进模式
- 热缓存限制（内存缓存）：2GB
- SSD N-gram 卸载：开启
- Lightning MTP：开启
- MoE 专家卸载：开启
- 常驻专家比例：50%
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力