Paper

MiMo-V2.6 技术报告解读:小米把 RL 自我提升的三个旋钮全拧到头了

DOC
N°630
DATE
Oct 11, 2026
READ
5 min read
TAGS
MiMo, 小米, 强化学习, 自我提升, MoE, 开源模型

9 月 23 日 MiMo-V2.6 发布当天, community 看到的是跑分;10 月 8 日小米 LLM-Core 团队把技术报告挂上 arXiv(编号 2610.11959),大家才看到这套跑分背后的完整工程账本。这篇报告最难得的地方不是成绩,而是把「规模化 RL 到底在扩展什么」拆成了三个可以被独立度量和复制的维度:训练算力、环境复杂度、评分器算力。再加上罕见坦诚的成本披露和全套开源,它可能是今年最值得精读的 RL 后训练教材。

一、模型与底座:先铺路,再飙车

MiMo-V2.6 系列有两个主模型:Pro 是 1.02T 参数的 MoE,激活 42B;Flash 是 310B 参数 MoE,激活 15B。架构底座是混合 SWA(sliding window attention)的混合架构,全模态设计——视觉编码器 MiMo-ViT 加音频编码器联合训练,能同时理解图像、视频与音频。

预训练侧的细节透露了「为 RL 留余地」的思路:RL 之前先做一段宽语料的多模态 mid-training,提供充分的探索空间;上下文从 32K 起步、训练中段扩到 256K。Flash 吃了 48T token(26T 文本 + 22T 全模态),Pro 吃了 30T。这些铺垫的共同目的只有一个:让后面 RL 阶段的探索空间足够大、底座足够稳。

这份账本的价值在于可复制性。1,568 的 batch、16 的组大小、每步 2.7B 到 3.7B 的 token 消耗,每一个数字都能直接抄进自己的训练配置里当起点。以往各家报告要么不披露、要么只给模糊的区间,MiMo-V2.6 是把「规模化的配方」当成卖点来写的——对正在规划自训流程的团队,省去了大量试错。

二、第一根轴:把每一步训练推到 1M 上下文

RL 训练算力的扩展不是「多买卡」三个字。报告给出的配置是:1,568 个 prompt、组大小 16,每步并行 rollout 2.5 万条序列,单步消耗 2.7 到 3.7B 训练 token——摊到每条序列约 11 万到 15 万 token,上下文上限推到 1M。支撑这一切的是全异步训练流水线,数千 GPU 单次运行。

成本披露得非常直接:Pro 的 RL 后训练花了 260 万美元,Flash 花了 90 万美元。 效果曲线同样直接:DeepSWE v1.1 的 average@3 得分,Pro 从 58.4 一路爬到 72.6,Flash 从 48.7 到 65.7,且随累计成本持续上升未见平台期。对纠结「RL 还能不能再投」的团队,这两条曲线就是答案。

三、第二根轴:环境与 harness 的多样性

第二个扩展维度是 RL 环境的广度与复杂度,横跨四个域——代码、通用、视觉、网络攻防——并且在同一套任务上混用多种 agent harness。报告明确指出:同时变化 harness 和任务能提升泛化,这与近期「harness 多样性防过拟合」的一系列研究结论互相印证。

这一段也是全篇工程密度最高的部分:代码任务从多来源构建,经过严格的评估阶段保证监督信号准确;执行检查、rollout 审计、对抗性测试三道工序用于训练前后持续提升奖励可靠性。

四、第三根轴:把算力花在评分器上

最有意思的是第三根轴。传统 RLVR 的奖励是二元测试通过与否,同组候选拿一样的分,信号稀薄。MiMo-V2.6 引入群组智能评分(groupwise agentic grading):用更强的评分流程对同组候选做细粒度对比,为长程任务提供更准确的奖励信号,并显式引导模型走向更短、更省 token 的解法。grader 的算力开销被正经计入成本结构——报告的图里训练、rollout、grader 三分成本,等于宣告「评分器也算生产力工具」。

五、稳定性:三板斧防住规模化 RL 的两大死因

规模化 RL 的两大死因是训练漂移与 reward hacking。小米的三板斧:

  1. 冻结 MoE router——路由结构不动,RL 只优化其余权重,杜绝奖励信号引发的路由震荡;
  2. 多层 reward hacking 防御——训练前用 hack-agent 迭代筛查每个环境的可钻空子性,训练中离线轨迹审计持续监控,发现即回流改进环境;报告的图显示经过几轮清理后可被黑掉的环境占比明显下降;
  3. 统一轨迹表示加惩罚机制——为混合任务的大 batch 训练提供一致的学习信号。

基础设施侧同样完整:统一轨迹数据结构、多框架高并发 rollout、控制面与数据面解耦、训练推理一致性保障。

六、成绩单与开源包

对比表里 MiMo-V2.6-Pro 与 Claude Opus 5、GPT-5.6 Sol、Claude Fable 5 同台:DeepSWE v1.1 拿 71.9(Opus 5 为 74.0),Terminal Bench 2.1 拿全场最高的 89.9,OSWorld 82.0 基本持平,CyberGym 94.0、MiMo Cyber Bench 80.2 显示攻防域基础扎实;短板是 ExploitGym 17.8 与 ExploitBench 47.9,离前沿还有可见差距。相比上代 MiMo-V2.5,提升幅度是代际级的。

9B 蒸馏模型的数字曲线本身就值得细看:SFT 阶段只把 SWE-bench Verified 从 60.0 拉到 61.1,而 RL 阶段继续推到 66.2;MiMo Code Bench 的变化更夸张,从 19.5 经 SFT 到 51.6、再经 RL 到 59.9;Terminal Bench 2.1 从 27.0 到 37.1 再到 52.8;攻防域的 MiMo Cyber Bench 从 5.7 一路到 47.0。SFT 与 RL 的贡献占比因域而异,这条曲线本身就是「RL 在哪些任务上还有油水」的实证参考。

开源部分诚意十足:轻量版 MiMo-V2.6-Distill-Qwen-9B(RL 后 SWE-bench Verified 66.2、Terminal Bench 2.1 拿 52.8,对比基座 Qwen3.5-9B 的 60.0 与 27.0),四域带验证器的任务环境,端到端 RL 训练框架,以及可组合 mini-harness。训练动态也一并公开。

对研究者,这是少见的可以完整复现的规模化 RL 案例;对工程师,9B 蒸馏模型是眼下单卡能跑的最好的开源代码 Agent 底座之一;对所有关注「模型自我提升」这条主线的人,这份报告把一个模糊的口号拆成了三根可拧的旋钮——这才是它最大的价值。

Frequently asked questions

MiMo-V2.6 的实际水平离前沿模型还有多远?
报告的对比表显示它已进入第一梯队但未登顶:DeepSWE v1.1 得分 71.9,落后 Claude Opus 5 的 74.0,领先 Claude Fable 5 的 70.0;Terminal Bench 2.1 拿到全场最高的 89.9;OSWorld 82.0 与三家基本持平。差距集中在安全攻防域,ExploitGym 只有 17.8,明显低于 Opus 5 的 22.1 和 GPT-5.6 Sol 的 30.3。总体是开源模型里少见的「全面接近前沿」成绩。
为什么冻结 MoE router 对训练稳定这么重要?
MoE 的 router 决定每个 token 分给哪些专家,RL 阶段如果允许 router 持续更新,奖励信号会引起路由剧烈漂移,专家分工被反复打乱,训练容易崩。冻结 router 后,RL 只优化专家和注意力等权重,路由结构保持稳定,相当于给大规模长程训练钉了一根定海神针。这是 MoE 架构做 RL 后训练的常见工程共识,小米把它写进了稳定性三板斧。
群组智能评分和普通测试用例打分差别在哪?
传统 RLVR 给同组所有通过测试的候选同样的二元奖励,模型学到的是「过测试就行」,容易刷出冗长但平庸的解。群组智能评分让一个更强的评分器对同组候选做对比排序,奖励更细粒度,还能显式奖励更短、更省 token 的解法。代价是 grader 本身的算力开销,报告把它列为与训练算力、环境并列的第三条扩展轴,说明这笔钱值得花。
260 万美元的 RL 成本算什么水平?
对一个 1T 级 MoE 的完整后训练来说非常克制。报告明确列出 Pro 版 RL 后训练 260 万美元、Flash 版 90 万美元,数千 GPU 单次运行。对比各家动辄上亿美元的预训练预算,这说明 RL 阶段的性价比曲线仍然陡峭——DeepSWE 从 58.4 到 72.6 的提升就发生在这笔预算内。对预算有限的团队,这是「小钱办大事」的直接参照。
开源的部分对个人开发者有什么用?
最有用的是 MiMo-V2.6-Distill-Qwen-9B:一个 9B 小模型,RL 后 SWE-bench Verified 达 66.2、Terminal Bench 2.1 达 52.8,单卡可跑,适合本地搭代码 Agent。其次是环境套件:代码、通用、视觉、攻防四域带验证器的任务环境,加一个可组合的 mini-harness 和端到端 RL 训练框架,等于把整套课程和操场都开放了,复现或自训都有了起点。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.