LookAtMyQuant:极致量化编译器与Apple Silicon部署指南
Inkling-2-Mini in 5.4 GB Memory
推荐理由
这是一份极具复用价值的量化工程实战指南,不仅给出了完整的参数配置和蒸馏流程,还附带了可直接运行的Apple Silicon部署代码,做端侧部署的同学值得收藏参考。
LookAtMyQuant LookAtMyQuant 是一个量化编译器。它测量模型中每个存储部分在压缩时对输出造成的损害程度。然后为每个部分选择一个编码,使整个模型在满足大小预算的前提下损失最小。在 Gemma 4 E2B 上,其 GGUF 格式在相同文件大小下的 KL 散度比 Q4_K_M 低 12 倍。方法和所有结果均在网站上公布。代码采用 MIT 许可证。## LookAtMyQuant 2:Qwen3.5-4B 压缩至 1.2 GB LookAtMyQuant 2 将 Qwen3.5-4B 压缩至 1.23 GB,每权重 2.3 位。该文件解决了 540 道精确答案数学题中的 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解决了 328 道,而原始模型解决了 359 道。其在保留文本上与原始模型的 KL 散度为 0.45 nats,而 Bonsai 为 0.59。该方法是一种后训练量化方案,使用网格码(trellis codes),基于模型自身带数字标记的已解数学题进行校准,其中数字标记权重为 10 倍,并按行通过 Fisher 信息分配比特数。随后进行 4,000 步蒸馏,其中每一层从原始权重重新量化一次。页面包含研究结果、完整配方及其成本,约 34 美元的 GPU 时间。配方的代码在此处,下一节将运行它。1.23 GB 的文件本身是 lm2-qwen35-4b-1.2gb 版本,已打包以适配 Apple Silicon 运行时。## Qwen3.8-27B 压缩至 7.2 GB 相同的配方将 Qwen3.8-27B 从 53.7 GB 压缩至 7.2 GB,每权重 2.1 位,在英文散文和聊天、代码及数学上进行校准和蒸馏。该文件解决了 540 道数学题中的 401 道,与原始模型相当;同大小的 Unsloth UD-IQ2_XXS GGUF 仅解决了 348 道。它在 HumanEval(73.8% 对比 67.1%)、MMLU(78.8% 对比 75.0%)和 GSM8K(94.5% 对比 92.7%)上的得分也高于该 GGUF。旁边是一个 4-bit DSpine 草稿模型(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 使用 runtime_mlx/convert_dspine.py 转换并使用 pack_drafter.py 打包),在 Apple Silicon 上大致将数学和代码的解码速度提升了一倍。## Inkling-2-Mini 扩展至 5.4 GB、8.9 GB、11.2 GB 和 12.8 GB,物理参数 26.4B / 激活参数 5.4B 的 3× 循环 MoE(L6–17 循环 3× = 48 次逻辑访问,128 个专家 top-8),编译器及全 MoE 近端微调(SQYFR)将 thinkingmachines/Inkling-2-Mini 从 18.89 GB 的文本权重压缩为四个 Apple Silicon MLX 构建版本:5.38 GB(1.65 bpp)、8.87 GB(2.72 bpp)、11.18 GB(3.43 bpp)和 12.76 GB(3.92 bpp)——结合了 4 KB SRAM 哈希块向量网格码(ht2/ht3)、行网格码(rtr1/rtr4)、尾端 lm_head 桶(head.7)上的 tr2 下限,以及精确的原生 NVFP4 直通(在 11.2 GB 和 12.8 GB 构建中,最高敏感度的专家桶 69/192 和 109/192 保持 0.0 误差)。在未截断条件下(max_new_tokens = 1,536,贪婪采样,reasoning_effort="none")在同一 BF16 教师模型上进行评估,测试集包括 openai/gsm8k(test[:200])、全部 164 个可执行的 openai/openai_humaneval 问题、4 个视觉 VQA 测试(使用未触碰的 637 MB BF16 视觉塔),以及 16+13 语言 TextMix 窗口:模型 | 文本 GB | 文本 bpp | free_KL (en/chat/code) | all13_KL | GSM8K (200) | HumanEval (164) | 视觉 (4) | 三任务均值 vs 教师原始 BF16 教师 | 18.89 | 5.80 | 0.0000 | 0.0000 | 193 / 200 (96.5%) | 152 / 164 (92.7%) | 4 / 4 | 100.0% LookAtMyQuant 12.8 GB (NVFP4 + Trellis) | 12.76 | 3.92 | 0.0070 | 0.0268 | 193 / 200 (96.5%) | 152 / 164 (92.7%) | 4 / 4 | 100.0% LookAtMyQuant 11.2 GB (NVFP4 + Trellis) | 11.18 | 3.43 | 0.0115 | 0.0400 | 190 / 200 (95.0%) | 151 / 164 (92.1%) | 4 / 4 | 99.3% (98.9% 合并) LookAtMyQuant 8.9 GB (SQYFR) | 8.87 | 2.72 | 0.0208 | 0.0571 | 192 / 200 (96.0%) | 149 / 164 (90.9%) | 4 / 4 | 99.2% (98.9% 合并) LookAtMyQuant 5.4 GB (SQYFR) | 5.38 | 1.65 | 0.0895 | 0.2871 | 176 / 200 (88.0%) | 116 / 164 (70.7%) | 4 / 4 | 89.2% (84.8% 合并) 在 12.76 GB 时,Inkling-2-Mini-LookAtMyQuant-12.8GB 在每一个基准测试上都达到了未触碰 BF16 教师的 100.0% 表现(349 / 349 合并),且文本权重内存减少了 32.5%。11.18 GB 和 8.87 GB 均保留了 99.2–99.3% 的三任务均值(345 / 349 = 98.9% 合并),其中 8.87 GB 在英语/聊天/代码上 KL 值降低了 2.34 倍(0.0208 vs 0.0486),在所有 13 种语言上降低了 29.6%(0.0571 vs 0.0811),低于 Unsloth 的 9.14 GB UD-Q2_K_XL GGUF,而 5.38 GB 在 GSM8K 上得分为 88.0%,在 HumanEval 上得分为 70.7%(105/164 = 严格模式下的 64.0% <|content_text|>;在相同的 384-token 测试套件下,也优于 7.76 GB UD-IQ1_S 和 9.14 GB UD-Q2_K_XL)。所有四个模型均通过统一的单次启动 Metal 内核(UnifiedMoESide 混合未旋转的 NVFP4 和 Hadamard-旋转的 trellis 专家,涵盖解码、投机验证以及 M5 MetalPerformancePrimitives 预填充 + FlashAttention-2 SDPA + 精确无偏温度 > 0 的投机采样)经由 lamq 和 runtime_mlx 运行,可选搭配 178.9 MB 的 4-bit DSpark 草稿生成器:在 Apple M5 Max 上,12.8 GB 达到 2,016 tok/s T=512 预填充速度,60.5 tok/s 串行速度,以及 112.7 tok/s 的中位数无损草稿解码速度(数学 119.2 tok/s,代码 106.2 tok/s;活跃 RAM 12.72 GB);11.2 GB 达到 2,032 tok/s 预填充速度,62.4 tok/s 串行速度,以及 103.7 tok/s 的中位数速度(数学 111.7 tok/s;活跃 RAM 11.13 GB);8.9 GB 以 63.5 tok/s 串行速度和 106.0 tok/s 中位数速度解码(推理 125.8 tok/s,数学 123.8 tok/s;活跃 RAM 9.41 GB);5.4 GB 达到 1,807 tok/s 预填充速度,75.3 tok/s 串行速度,以及 124.4 tok/s 的中位数速度(数学 142.9 tok/s,推理 126.5 tok/s,代码 122.2 tok/s;活跃 RAM 5.98 GB)。## 安装并使用 Apple Silicon 运行时 在 Apple Silicon 上,直接安装运行时包(这将安装 mlx、mlx-lm、numpy 和 huggingface-hub,而不包含 PyTorch 编译器依赖项): ``` pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git ``` 从本地克隆版本中,执行 pip install -e . 可安装 lamq 命令,或者在不安装的情况下直接运行 python -m runtime_mlx。命令行。传入本地模型文件夹或 Hugging Face 仓库 ID 均可: ``` lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \ -p "What is 17 times 23? Show the steps." lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \ --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \ -p "Write a Python function that merges overlapping intervals." --stats lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \ --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-12.8GB \ --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \ -p "What is 17 times 23?显示步骤。" --stats lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \ --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \ -p "17乘以23等于多少?显示步骤。" --stats ``` 当省略-p时,lamq generate会读取标准输入;支持--raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive和--json。lamq info在不加载权重的情况下检查打包模型的格式和维度。Python集成。runtime_mlx.load返回一个(model, tokenizer)对,与mlx_lm.generate和mlx_lm.stream_generate兼容(自动检测opgraph-packed-1模型如Qwen3.5-4B / Qwen3.8-27B,inkling2-packed模型如Inkling-2-Mini,以及lamq.json导出如Gemma 4 E2B):``` from mlx_lm import generate from runtime_mlx import load model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB") prompt = tok.apply_chat_template( [{"role": "user", "content": "17乘以23等于多少?显示步骤。"]], add_generation_prompt=True, enable_thinking=False, ) print(generate(model, tok, prompt, max_tokens=200)) ``` 如需通过单一接口实现流式输出、多轮对话或推测解码,请使用Runtime:``` from runtime_mlx import Runtime rt = Runtime.load( "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB", drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter", ) for chunk in rt.stream("解方程组 3x + 4y = 31 和 5x - 2y = 17。", max_tokens=256): print(chunk.text, end="", flush=True) ``` ## 用三条命令在SmolLM2-360M上运行编译器
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力