IBM Granite 4.1 模型发布：架构与训练详解

IBM 发布了 Granite 4.1 系列大模型，包括 Granite 4.1、Granite 4.1 Instruct 和 Granite 4.1 MoE 等多个版本。该系列模型基于改进的 Transformer 架构，采用了分组查询注意力（GQA）、旋转位置编码（RoPE）和 SwiGLU 激活函数。训练数据规模达数万亿 token，涵盖多语言文本和代码。模型支持 128K 上下文长度，在多项基准测试中表现优异，尤其在代码生成、数学推理和指令跟随方面有显著提升。IBM 同时开源了模型权重，并提供了详细的训练和微调指南。