9 月 23 日 MiMo-V2.6 发布当天, community 看到的是跑分;10 月 8 日小米 LLM-Core 团队把技术报告挂上 arXiv(编号 2610.11959),大家才看到这套跑分背后的完整工程账本。这篇报告最难得的地方不是成绩,而是把「规模化 RL 到底在扩展什么」拆成了三个可以被独立度量和复制的维度:训练算力、环境复杂度、评分器算力。再加上罕见坦诚的成本披露和全套开源,它可能是今年最值得精读的 RL 后训练教材。
一、模型与底座:先铺路,再飙车
MiMo-V2.6 系列有两个主模型:Pro 是 1.02T 参数的 MoE,激活 42B;Flash 是 310B 参数 MoE,激活 15B。架构底座是混合 SWA(sliding window attention)的混合架构,全模态设计——视觉编码器 MiMo-ViT 加音频编码器联合训练,能同时理解图像、视频与音频。
预训练侧的细节透露了「为 RL 留余地」的思路:RL 之前先做一段宽语料的多模态 mid-training,提供充分的探索空间;上下文从 32K 起步、训练中段扩到 256K。Flash 吃了 48T token(26T 文本 + 22T 全模态),Pro 吃了 30T。这些铺垫的共同目的只有一个:让后面 RL 阶段的探索空间足够大、底座足够稳。
这份账本的价值在于可复制性。1,568 的 batch、16 的组大小、每步 2.7B 到 3.7B 的 token 消耗,每一个数字都能直接抄进自己的训练配置里当起点。以往各家报告要么不披露、要么只给模糊的区间,MiMo-V2.6 是把「规模化的配方」当成卖点来写的——对正在规划自训流程的团队,省去了大量试错。
二、第一根轴:把每一步训练推到 1M 上下文
RL 训练算力的扩展不是「多买卡」三个字。报告给出的配置是:1,568 个 prompt、组大小 16,每步并行 rollout 2.5 万条序列,单步消耗 2.7 到 3.7B 训练 token——摊到每条序列约 11 万到 15 万 token,上下文上限推到 1M。支撑这一切的是全异步训练流水线,数千 GPU 单次运行。
成本披露得非常直接:Pro 的 RL 后训练花了 260 万美元,Flash 花了 90 万美元。 效果曲线同样直接:DeepSWE v1.1 的 average@3 得分,Pro 从 58.4 一路爬到 72.6,Flash 从 48.7 到 65.7,且随累计成本持续上升未见平台期。对纠结「RL 还能不能再投」的团队,这两条曲线就是答案。
三、第二根轴:环境与 harness 的多样性
第二个扩展维度是 RL 环境的广度与复杂度,横跨四个域——代码、通用、视觉、网络攻防——并且在同一套任务上混用多种 agent harness。报告明确指出:同时变化 harness 和任务能提升泛化,这与近期「harness 多样性防过拟合」的一系列研究结论互相印证。
这一段也是全篇工程密度最高的部分:代码任务从多来源构建,经过严格的评估阶段保证监督信号准确;执行检查、rollout 审计、对抗性测试三道工序用于训练前后持续提升奖励可靠性。
四、第三根轴:把算力花在评分器上
最有意思的是第三根轴。传统 RLVR 的奖励是二元测试通过与否,同组候选拿一样的分,信号稀薄。MiMo-V2.6 引入群组智能评分(groupwise agentic grading):用更强的评分流程对同组候选做细粒度对比,为长程任务提供更准确的奖励信号,并显式引导模型走向更短、更省 token 的解法。grader 的算力开销被正经计入成本结构——报告的图里训练、rollout、grader 三分成本,等于宣告「评分器也算生产力工具」。
五、稳定性:三板斧防住规模化 RL 的两大死因
规模化 RL 的两大死因是训练漂移与 reward hacking。小米的三板斧:
- 冻结 MoE router——路由结构不动,RL 只优化其余权重,杜绝奖励信号引发的路由震荡;
- 多层 reward hacking 防御——训练前用 hack-agent 迭代筛查每个环境的可钻空子性,训练中离线轨迹审计持续监控,发现即回流改进环境;报告的图显示经过几轮清理后可被黑掉的环境占比明显下降;
- 统一轨迹表示加惩罚机制——为混合任务的大 batch 训练提供一致的学习信号。
基础设施侧同样完整:统一轨迹数据结构、多框架高并发 rollout、控制面与数据面解耦、训练推理一致性保障。
六、成绩单与开源包
对比表里 MiMo-V2.6-Pro 与 Claude Opus 5、GPT-5.6 Sol、Claude Fable 5 同台:DeepSWE v1.1 拿 71.9(Opus 5 为 74.0),Terminal Bench 2.1 拿全场最高的 89.9,OSWorld 82.0 基本持平,CyberGym 94.0、MiMo Cyber Bench 80.2 显示攻防域基础扎实;短板是 ExploitGym 17.8 与 ExploitBench 47.9,离前沿还有可见差距。相比上代 MiMo-V2.5,提升幅度是代际级的。
9B 蒸馏模型的数字曲线本身就值得细看:SFT 阶段只把 SWE-bench Verified 从 60.0 拉到 61.1,而 RL 阶段继续推到 66.2;MiMo Code Bench 的变化更夸张,从 19.5 经 SFT 到 51.6、再经 RL 到 59.9;Terminal Bench 2.1 从 27.0 到 37.1 再到 52.8;攻防域的 MiMo Cyber Bench 从 5.7 一路到 47.0。SFT 与 RL 的贡献占比因域而异,这条曲线本身就是「RL 在哪些任务上还有油水」的实证参考。
开源部分诚意十足:轻量版 MiMo-V2.6-Distill-Qwen-9B(RL 后 SWE-bench Verified 66.2、Terminal Bench 2.1 拿 52.8,对比基座 Qwen3.5-9B 的 60.0 与 27.0),四域带验证器的任务环境,端到端 RL 训练框架,以及可组合 mini-harness。训练动态也一并公开。
对研究者,这是少见的可以完整复现的规模化 RL 案例;对工程师,9B 蒸馏模型是眼下单卡能跑的最好的开源代码 Agent 底座之一;对所有关注「模型自我提升」这条主线的人,这份报告把一个模糊的口号拆成了三根可拧的旋钮——这才是它最大的价值。