AMD Strix Halo跑300B MoE：Kyojin引擎实测GLM-5
Two ~300B MoE models, each on ONE 128 GB mini PC (AMD Strix Halo): GLM-5.3-Flash at ~580 tok/s prefill, MiMo-V2.6-Flash up to 44 tok/s decode. EXL3 weights + open ROCm engine
本地部署300B级大模型的硬核工程实践，给出具体硬件配置、量化方案与性能基准，开发者可直接复现验证。
We built an engine, Kyojin, on top of ExLlamaV3 for Strix Halo (gfx1151, ROCm), and packed two 300B-class MoE models so each fits one 128 GB machine. First release, all measured on Ryzen AI Max+ 395.
我们在 ExLlamaV3 之上为 Strix Halo (gfx1151, ROCm) 构建了一个引擎 Kyojin，并打包了两个 300B 级别的 MoE 模型，使每个模型都能适配一台 128 GB 的机器。这是首次发布，所有数据均在 Ryzen AI Max+ 395 上测得。
| Model | GLM-5.3-Flash | MiMo-V2.6-Flash-MOPD |
|---|---|---|
| Size | 99.7 GB | 105 GB |
| Prefill | 580 tok/s at 3.5K, 546 at 64K | about 650 tok/s at 4K |
| Decode | 26 to 30 tok/s (MTP) | 32 prose / 35 chat / 44 code (speculative), 29 plain |
| KLD vs official FP8 | 0.151 | 0.0713 |
| Top-1 agreement with FP8 | 89.3 % | 92.0 % |
| 模型 | GLM-5.3-Flash | MiMo-V2.6-Flash-MOPD |
|---|---|---|
| 大小 | 99.7 GB | 105 GB |
| 预填充 | 3.5K 时 580 tok/s，64K 时 546 tok/s | 4K 时约 650 tok/s |
| 解码 | 26 到 30 tok/s (MTP) | 32 散文 / 35 聊天 / 44 代码 (投机)，29 纯文本 |
| 与官方 FP8 的 KLD | 0.151 | 0.0713 |
| 与 FP8 的 Top-1 一致性 | 89.3 % | 92.0 % |
Where the weights come from. MiMo is our own quantisation. The GLM pack mixes turboderp's public 2.05 and 3.05 bpw EXL3 tensors, with our layer mix and a small tuning stage. On the same 129 rows, his 2.05 bpw pack (85 GB) gets KLD 0.275; our mix (100 GB) gets 0.190. His is smaller and decodes about 10 % faster.
权重的来源。MiMo 是我们自己的量化方案。GLM 包混合了 turboderp 公开的 2.05 和 3.05 bpw EXL3 张量，加上我们的层混合和一个小规模的微调阶段。在相同的 129 行数据上，他的 2.05 bpw 包（85 GB）得到 KLD 0.275；我们的混合包（100 GB）得到 0.190。他的包更小，解码速度大约快 10%。
Uncensored variants. Separate -Uncensored repos: same weights plus one small file the engine applies at load, one switch turns it off.
无审查变体。独立的 -Uncensored 仓库：相同的权重加上一个引擎在加载时应用的小文件，一个开关即可关闭它。
Not measured yet. Task-suite scores for MiMo, GLM at 128K context, any GPU other than gfx1151. The conversion pipeline stays private.
尚未测量。MiMo、GLM 在 128K 上下文下的任务套件得分，以及除 gfx1151 之外的任何 GPU。转换管道保持私有。
Quickstart. Clone, ./build.sh, hf download yamz-labs/GLM-5.3-Flash-EXL3-Yamz, python tools/glm/serve.py --model ./glm-pack -c 131072 --num-draft 2. You get an OpenAI-style API.
快速开始。克隆代码，运行 ./build.sh，hf download yamz-labs/GLM-5.3-Flash-EXL3-Yamz，python tools/glm/serve.py --model ./glm-pack -c 131072 --num-draft 2。你将获得一个 OpenAI 风格的 API。
Models: https://huggingface.co/yamz-labs
模型：https://huggingface.co/yamz-labs
Engine: https://github.com/Yamz-Labs/kyojin
引擎：https://github.com/Yamz-Labs/kyojin
Built on turboderp's ExLlamaV3, with ROCm work from sdougbrown and vcruz305.
基于 turboderp 的 ExLlamaV3 构建，并整合了 sdougbrown 和 vcruz305 的 ROCm 工作成果。
If you own a Strix Halo machine, we'd love to see your tok/s. Issues, benchmarks and PRs are all welcome. Which model should we do next?
如果你拥有 Strix Halo 机器，我们很乐意看到你的 tok/s 数据。欢迎提交 Issues、基准测试和 PRs。下一个模型我们应该做哪个？
更进一步：量化金融体系
看懂新闻只是起点——沿量化金融路径，把它变成能交付的工程能力