小米MiMo团队公开V2.6模型及Agentic RL训练细节

小米 @XiaomiMiMo 团队负责人 @_LuoFuli 公布 MiMo-V2.6

此前 MiMo 团队也公开了 RL 在线实时面板，按计算量计可能是开源团队迄今最大的单次 RL 训练，MiMo-V2.6 的评测表现也可称 SOTA，除 MiMo-V2.6 模型信息外，还罕见的公开了很多训练策略、系统细节、团队组织形式，她认为，RL scaling 的瓶颈一半在系统、一半在组织！

技术核心：MixRL 与 MOPD 不是二选一，是同一系统的两条管线 两条路线在 MiMo 系列里都真实存在过： · MixRL（多域混合联合 RL）：把可验证、中等难度的任务（代码及相关 agentic 任务）放进同一个 RL run 联合训练。团队的实证结论是混合训练的泛化出奇地好。 · MOPD（Multi-Teacher On-Policy Distillation，多教师在线策略蒸馏）：团队在 MiMo-V2-Flash 后训练中提出的能力整合方法，另有独立论文（在 Qwen3-30B-A3B 上系统对比过 Mix-RL、Cascade RL、参数合并等基线并胜出）。做法：各领域单独跑 RL 训出专家教师，再让主模型在自己的 rollout 上接受多教师的稠密 token 级信号，把能力蒸馏合并进来。

分工逻辑是工程约束，不是算法优劣：难验证、超长时程、主观评价信号的任务（游戏、3D 属此类）rollout 又慢又长，混进联合 run 会拉垮吞吐，或造成严重的 rollout staleness——异步 RL 中旧策略轨迹还没采完、中心策略已更新许多版，梯度信号失真。所以这类任务单独训练成教师，再经 MOPD 并回主模型。

“为什么你们能做 MixRL"，前两个答案是技术性的，第三个是组织性的 团队扁平、没有部门墙，跨域联合训练 “对我们不难”。 她认为 MixRL 的真实门槛往往不在算法而在组织，同任务域的 reward 设计、环境、评测通常分属不同团队，联合 RL 要求日复一日的跨域协作。“RL 每日例会、智能实时涌现” 正是大规模 RL run 的典型管理形态：这种 run 会在成千上万个细节处失败（reward hacking、环境 bug、异步过期、熵坍缩），必须维持日级的发现-修复节奏。RL scaling 的瓶颈一半在系统、一半在组织。

开源三件套：交出完整的 Agentic RL 研究闭环 · 从 MiMo RL 轨迹蒸馏的 Qwen 模型：解决社区冷启动，起点太低时，小规模 RL 实验做不出有意义的结果；选 Qwen 底座而非自家架构，明显是为了接入最普及的生态。 · 7K 个多样化环境：Agentic RL 当前最稀缺的资产是环境，不是算法。 · 完整 RL 训练框架：抹平训练系统工程的门槛。

起点（模型）+ 问题（环境）+ 基建（框架）= 完整研究 loop。生态意图比单独开源权重更进一步：让社区能在可复现的真实条件下研究 Agentic RL，不只在玩具设置里打转。