Nanbeige4.2-3B 在 Apple Silicon

Nanbeige4.2-3B 是一个3B参数的智能体模型，围绕循环变压器（LT）构建，该变压器重用一层堆栈进行第二次前向传播，在不增加参数的情况下增加了有效深度。在Apple Silicon（MPS）上评估时，我们识别出五个独立缺陷，这些缺陷导致发布的检查点无法通过Hugging Face transformers开箱即用地运行（包括静默归零的RoPE缓冲区和调用已移除的transformers缓存API）。此外，我们表明，即使修复这些缺陷，对于智能体任务仍不足够，因为LT的层重用策略（有效将峰值注意力内存翻倍）用于实现参数效率。因此，我们引入了一种分块预填充策略，以缓解由此产生的内存容量惩罚，在32 GiB共享内存上将允许的上下文宽度扩展了2.7倍。然而，即使内存开销降低，我们仍表明需要补丁才能使Nanbeige4.2-3B可用；解决系统提示和MPS原生内存缺陷后，最终能在标准MCP和工具调用基准上进行可靠评估。在MCPMark的子集上，调试后的模型完成了高达30%的真实智能体任务（原始为0%），而在BFCL上，它在单工具调用上近乎完美（但在多工具测试中大部分失败）。我们在https://github.com/johnhalloran321/Nanbeige4.2-3B-mps-fix 发布了修补后的检查点、系统提示优化器和评估工具。