Inco AI开源本地推理引擎Splash，Mac跑Qwen3.8-27B达1

DFlash团队进军Mac，27B模型跑到144Token/s 动察 Beating AI 快讯，Inco AI 开源本地推理引擎 Splash，把 Qwen3.8-27B 在 M5 Max MacBook Pro 上跑到了最高 144 Token/s。LM Studio 随即接入，0.4.25 版本已经可以直接使用。 Inco 此前做出的 DFlash 已经进入 SGLang、vLLM、TensorRT-LLM 和 llama.cpp。Meta、NVIDIA、小米、Poolside 等也给自家模型配了 DFlash 加速小模型。DFlash 会先让小模型并行猜出多个 Token，再交给大模型批量验证，减少逐 Token 生成的计算。 Splash 把这种优化扩到了整个本地推理引擎。它目前只支持 Qwen3.8-27B 和 Qwen3.6-35B-A3B，每个模型都单独配了 GPU kernel、内存方案和 DFlash 2 小模型。覆盖的模型少，但换来了更激进的性能优化。 144 Token/s 是 M5 Max 上的最高演示值。换到 Inco 用来做横向测试的 48GB M5 Pro，Qwen3.8-27B 单路短上下文达到 74 Token/s；4 路并发时总吞吐达到 170 Token/s，是第二名的 3.9 倍。这也是 Splash 更适合 Agent 场景的地方。一个 Agent 同时拉起多个子任务时，并发总吞吐往往比单条对话速度更重要。 Splash 本身开源，不绑定 LM Studio。目前需要 M3 或更新的 Mac、macOS 26.4 以上、至少 36GB 统一内存。 原文链接 https://m.theblockbeats.info/flash/367995