跳到主内容
@wquguru
精选88MarkTechPost(RSS)模型发布/更新多源精选 ×4

Thinking Machines发布Inkling 2

Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac

原文
发到 X
推荐理由

本地部署Agent开发者的新选择,20GB权重即可在消费级Mac上运行强编码能力模型,值得压测对比。

Thinking Machines Lab has released Inkling 2 Mini, an open-weight looped transformer with 26.4B total parameters. The model reuses its middle layers 3 times per token instead of adding more weights. That keeps the checkpoint near 20GB, small enough for a 32GB Mac or 1 NVIDIA DGX Spark. For developers, Inkling 2 Mini is a local option for agentic coding, tool use and document work. It ships under Apache 2.0 on Hugging Face, with hosted inference and fine-tuning on Tinker.

Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个拥有 264 亿总参数的开源循环 Transformer 模型。该模型每个 token 重复使用其中间层 3 次,而不是增加更多权重。这使得检查点大小保持在 20GB 左右,足以在 32GB 内存的 Mac 或 1 块 NVIDIA DGX Spark 上运行。对于开发者而言,Inkling 2 Mini 是用于智能体编码、工具使用和文档处理的本地化选项。它在 Hugging Face 上以 Apache 2.0 许可证发布,并在 Tinker 上提供托管推理和微调服务。

TL;DR

TL;DR(太长不看)

  • Size: 26.4B total, 3.4B active (5.4B effective per token with looping), up to 1M-token context.
  • Runs on: Apple silicon with 32GB+ memory, 1 NVIDIA DGX Spark, or GPUs with 32GB+ VRAM. GGUF builds via Unsloth and llama.cpp.
  • Performance: 20.1 on the Artificial Analysis Index, tied with Qwen3.8-27B (self-reported).
  • Best: 79.2% on SWE-bench Verified (bash only).
  • Worst: 15.2% on HLE-Diamond and 50.0% on MultiChallenge.
  • Bottom line: Best: strong agentic coding from a 20GB checkpoint. Worst: weaker knowledge recall and multi-turn instruction following.
  • 规模:264 亿总参数,34 亿活跃参数(通过循环机制,每个 token 有效参数为 54 亿),支持高达 100 万 token 的上下文。
  • 运行环境:配备 32GB+ 内存的 Apple Silicon,1 块 NVIDIA DGX Spark,或配备 32GB+ 显存的 GPU。GGUF 格式构建版本由 Unsloth 和 llama.cpp 提供支持。
  • 性能:在 Artificial Analysis Index 上得分为 20.1,与 Qwen3.8-27B 持平(自我报告)。
  • 最佳表现:在 SWE-bench Verified(仅限 bash)上达到 79.2%。
  • 最差表现:在 HLE-Diamond 上为 15.2%,在 MultiChallenge 上为 50.0%。
  • 总结:最佳表现:来自 20GB 检查点的强大智能体编码能力。最差表现:知识回忆和多轮指令遵循能力较弱。

What is Inkling 2 Mini?

什么是 Inkling 2 Mini?

Inkling 2 Mini is a sparse Mixture-of-Experts model from Thinking Machines that loops its middle layers. It accepts text and images and returns text only.

Inkling 2 Mini 是 Thinking Machines 推出的一种稀疏混合专家(MoE)模型,其特点是循环使用中间层。它接受文本和图像输入,仅返回文本输出。

It follows Inkling 2 Small, a 594B-parameter model released on November 5.

它紧随 Inkling 2 Small 之后发布,后者是一个于 11 月 5 日发布的拥有 5940 亿参数的模型。

How does the looped transformer work?

循环 Transformer 是如何工作的?

The model stores 24 layers, grouped into 4 blocks of 6. The first and last blocks run once. The 2 middle blocks run 3 times with shared weights. That gives 48 layer applications per token from 24 layers of weights.

该模型存储了 24 个层,分为 4 个块,每块包含 6 个层。第一个和最后一个块各运行一次。两个中间块共享权重并运行 3 次。这使得从 24 层权重中,每个 token 能获得 48 次层应用。

Each pass after the first receives a “message” from the previous pass. Thinking Machines carries it with Attention Residuals and a learned gate. Feed-forward layers use 128 experts, with 8 routed per token.

除第一次传递外,每次后续传递都会接收来自前一次传递的“消息”。Thinking Machines 通过注意力残差(Attention Residuals)和学习门控机制来传递这些信息。前馈层使用 128 个专家,每个 token 路由选择 8 个。

Looping the middle layers gave a 1.51x to 1.91x compute-equivalent gain. Looping the last layers gave only 1.24x to 1.36x. The middle-loop variant won 27 of 28 evaluations.

循环中间层带来了 1.51 倍至 1.91 倍的计算等效增益。循环最后层仅带来 1.24 倍至 1.36 倍的增益。中间层循环变体在 28 项评估中的 27 项中获胜。

Looping costs training compute but saves inference. An unlooped baseline used 7.5% less training compute. It needed 140% more inference compute to match the looped model’s loss on 512k-token agentic traces.

循环机制增加了训练计算成本,但节省了推理成本。一个无循环基线模型使用了少 7.5% 的训练计算量。但在 512k token 的智能体轨迹上匹配循环模型的损失时,它需要多 140% 的推理计算量。

How was Inkling 2 Mini trained?

Inkling 2 Mini 是如何训练的?

Training began with 384 experts per layer, with 8 active per token. At midtraining, the team pruned two-thirds of them and kept the 128 most-used experts. A 1T-token distillation run from a larger internal Inkling model then healed the pruned model. Post-training used SFT, then RL over 2.2T tokens and 2,000 steps, plus on-policy distillation.

训练开始时,每层有 384 个专家,每个 token 激活 8 个。在训练中期的剪枝阶段,团队剪掉了三分之二的专家,保留了使用频率最高的 128 个专家。随后,利用来自更大内部 Inkling 模型的 1T token 蒸馏运行对剪枝后的模型进行了修复。后训练阶段使用了监督微调(SFT),然后在 2.2T token 和 2,000 步上进行强化学习(RL),并辅以在线策略蒸馏。

Expert layers are trained and deployed in NVFP4. The last 4 layers use MXFP8. Thinking Machines says this removes quantization conversion loss. A research variant, TML-d24-varloop-research, trains with 1 to 5 passes.

专家层采用 NVFP4 进行训练和部署。最后 4 层使用 MXFP8。Thinking Machines 表示这消除了量化转换损失。一个研究变体 TML-d24-varloop-research 采用 1 到 5 次传递进行训练。

How does Inkling 2 Mini perform on benchmarks?

Inkling 2 Mini 在基准测试中的表现如何?

All Inkling scores below are self-reported by Thinking Machines. Coding is the strongest area. Inkling 2 Mini scores 79.2% on SWE-bench Verified (bash only) and 77.9% on SWE-bench Pro v2 (Hard). It reaches 48.2% on DeepSWE v1.1, where Qwen’s own card lists Qwen3.8-27B at 42.2%. On Terminal Bench v2.1 it scores 71.6%, behind Qwen3.8-27B at 73.0%.

以下所有 Inkling 分数均由 Thinking Machines 自行报告。编程是其最强领域。Inkling 2 Mini 在 SWE-bench Verified(仅限 bash)上得分 79.2%,在 SWE-bench Pro v2 (Hard) 上得分 77.9%。它在 DeepSWE v1.1 上达到 48.2%,而 Qwen 自己的卡片显示 Qwen3.8-27B 得分为 42.2%。在 Terminal Bench v2.1 上,它得分 71.6%,低于 Qwen3.8-27B 的 73.0%。

Agentic search also holds up: 79.0% on BrowseComp with compaction and 82.7% on MCP Atlas. For documents and vision, it posts 92.8% on OmniDocBench v1.6 and 74.9% on MMMU Pro. On reasoning, it scores 86.6% on GPQA Diamond and 49.3% on ARC-AGI-2.

智能体搜索同样表现稳健:在 BrowseComp 上使用压缩技术得分为 79.0%,在 MCP Atlas 上为 82.7%。对于文档和视觉任务,它在 OmniDocBench v1.6 上得分 92.8%,在 MMMU Pro 上得分为 74.9%。在推理方面,它在 GPQA Diamond 上得分 86.6%,在 ARC-AGI-2 上得分为 49.3%。

Efficiency is the headline claim. On Stanford’s Intelligence per Watt metric, Thinking Machines reports 0.703 on a DGX Spark. It lists Qwen3.6-35B-A3B at 0.430 and Gemma-4-26B-A4B at 0.159.

效率是主要的宣传点。在斯坦福大学的每瓦特智能指标上,Thinking Machines 报告 DGX Spark 上的得分为 0.703。其列出的 Qwen3.6-35B-A3B 得分为 0.430,Gemma-4-26B-A4B 为 0.159。

How does Inkling 2 Mini compare with Qwen and Gemma?

Inkling 2 Mini 与 Qwen 和 Gemma 相比如何?

FeatureInkling 2 Mini (card)Qwen3.8-27B (card)Qwen3.6-35B-A3B (card)Gemma 4 26B A4B (card)
ArchitectureLooped MoEDenseMoEMoE
Total params26.4B27B35B25.2B
Active params3.4B (5.4B effective)27B (dense)3B3.8B
ContextUp to 1M262,144 native, up to 1M262,144 native, up to 1,010,000256K
LicenseApache 2.0Apache 2.0Apache 2.0Apache 2.0
InputText, imageText, image, videoText, imageText, image
Hardware listed~20GB; 32GB Mac or DGX SparkNot disclosedNot disclosedNot disclosed
GPQA Diamond86.6%89.286.082.3%
Terminal Bench 2.171.6%73.0Not reportedNot reported
SWE-bench Verified79.2% (bash only)Not reported73.4Not reported
DeepSWE 1.148.2%42.2Not reportedNot reported
Hosted accessTinkerQwen CloudNot disclosedNot disclosed
特性Inkling 2 Mini(卡片)Qwen3.8-27B(卡片)Qwen3.6-35B-A3B(卡片)Gemma 4 26B A4B(卡片)
架构循环 MoE密集MoEMoE
总参数量26.4B27B35B25.2B
激活参数量3.4B(等效 5.4B)27B(密集)3B3.8B
上下文窗口最高 1M原生 262,144,最高 1M原生 262,144,最高 1,010,000256K
许可证Apache 2.0Apache 2.0Apache 2.0Apache 2.0
输入类型文本、图像文本、图像、视频文本、图像文本、图像
所列硬件~20GB;32GB Mac 或 DGX Spark未披露未披露未披露
GPQA Diamond86.6%89.286.082.3%
Terminal Bench 2.171.6%73.0未报告未报告
SWE-bench Verified79.2%(仅限 bash)未报告73.4未报告
DeepSWE 1.148.2%42.2未报告未报告
托管访问TinkerQwen Cloud未披露未披露

Each column uses the vendor’s own model card. Harnesses and settings differ, so treat cross-vendor gaps as directional.

每一列均使用供应商自身的模型卡片。评估工具和设置各不相同,因此请将跨供应商的差异视为方向性参考。

What hardware do you need to run Inkling 2 Mini?

运行 Inkling 2 Mini 需要什么硬件?

The checkpoint is about 20GB in Safetensors. Thinking Machines lists 3 supported setups: 1 NVIDIA DGX Spark, Apple silicon with 32GB+ memory, and other GPUs with 32GB+ VRAM. Quantized GGUF builds are available through Unsloth and llama.cpp.

检查点文件约为 20GB(Safetensors 格式)。Thinking Machines 列出了 3 种支持的配置:1 个 NVIDIA DGX Spark、内存 32GB+ 的 Apple silicon,以及显存 32GB+ 的其他 GPU。通过 Unsloth 和 llama.cpp 可提供量化 GGUF 版本。

Serving support covers Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo and TokenSpeed. Tinker pricing for Mini is not disclosed in the launch materials.

支持服务涵盖 Transformers、vLLM、SGLang、Ollama、NVIDIA Dynamo 和 TokenSpeed。Tinker Mini 的定价在发布材料中未披露。

A vLLM quick start takes 1 command: vllm serve "thinkingmachines/Inkling-2-Mini".

使用 vLLM 快速入门只需一条命令:vllm serve "thinkingmachines/Inkling-2-Mini"。

Where does Inkling 2 Mini fall short?

Inkling 2 Mini 有哪些不足?

Knowledge depends mostly on total parameters, and looping did not help knowledge benchmarks. Inkling 2 Mini scores -8.6 on AA-Omniscience, with a 63.4% non-hallucination rate.

知识能力主要取决于总参数量,循环机制并未帮助提升知识基准测试成绩。Inkling 2 Mini 在 AA-Omniscience 上得分为 -8.6,非幻觉率为 63.4%。

It is not the best small model for multi-turn chat or constraint-heavy prompts. It scores 50.0% on MultiChallenge and 33.4% on ComplexConstraints v1.1. It also trails larger models on HLE-Diamond (15.2%) and CritPt v2.

它并非多轮对话或强约束提示词场景下的最佳小模型。它在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上得分为 33.4%。在 HLE-Diamond(15.2%)和 CritPt v2 上也落后于更大的模型。

Key Takeaways

关键要点

  • Inkling 2 Mini loops 24 stored layers into 48 layer passes per token.
  • 26.4B total, 3.4B active, ~20GB, Apache 2.0, up to 1M context.
  • Runs on a 32GB Mac or 1 DGX Spark via Ollama, vLLM or llama.cpp.
  • Scores 79.2% on SWE-bench Verified and ties Qwen3.8-27B at 20.1 AA Index.
  • Weak spots: knowledge recall, multi-turn chat and constraint-heavy prompts.
  • Inkling 2 Mini 将 24 个存储层循环为每个 token 的 48 次层传递。
  • 总计 264 亿参数,激活参数 34 亿,约需 20GB 显存,采用 Apache 2.0 许可证,支持最高 100 万上下文长度。
  • 可通过 Ollama、vLLM 或 llama.cpp 在配备 32GB 内存的 Mac 或单台 DGX Spark 设备上运行。
  • 在 SWE-bench Verified 上得分 79.2%,与 Qwen3.8-27B 并列,AA Index 得分为 20.1。
  • 薄弱环节:知识召回、多轮对话和强约束提示词。

Check out the technical blog, model card, model weights and Tinker Playground. You can check the deployment options and specs here through our GPULeaderboard.com chrome extension.

请查阅技术博客、模型卡片、模型权重以及 Tinker Playground。你可以通过我们的 GPULeaderboard.com Chrome 扩展程序在此查看部署选项和规格说明。

Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.

此外,欢迎在 Twitter 上关注我们,别忘了加入拥有 15 万+成员的 ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以加入我们的 Telegram 群组。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →