Paper

bf16 循环状态让混合推理模型思考更长:机制、代价与修法

6 min read ·

一篇来自支付公司的基础设施论文

2026-11-09 挂上 arXiv 的《Lost in Rounding: bf16 Recurrent State Makes Hybrid Reasoning Models Think Longer》(arXiv 2611.12127)出自 PayPal AI 的三人团队。有趣的第一观感是:这不是高校 NLP 组的论文,而是一家支付公司的 AI 基础设施团队,在自家 8 张 RTX PRO 6000 Blackwell 服务器上跑 SGLang 0.5.21 做出的结果。这种出身从侧面说明了问题的性质——它不关心模型能不能通过图灵测试,它关心的是生产集群上每一千 token 的成本。

研究对象是混合推理模型:用少量注意力层搭配大量循环层(Mamba-2 或 Gated DeltaNet)的架构。这类模型的卖点是循环层的状态是固定大小的缓存,不像注意力层那样随上下文线性增长,所以长上下文推理的显存压力小得多。Qwen3.5 系列、Nemotron-Nano 系列、Falcon-H1R 等近期开源模型都走了这条路。

机制:每步重舍入,偏差会滚雪球

关键在解码循环的细节。循环层的状态在每生成一个 token 时被读取、更新、写回缓存。如果缓存是 bf16,每次写回都要做一次 FP32 到 bf16 的舍入,而 round-to-nearest(RTN)的偏差有固定方向,会在长思考链上相干累积——几千步下来,状态的漂移足以改变模型的决策分布。

这不是第一个发现。NVIDIA 在 Nemotron 3 Super 的报告里就提到 FP16 SSM 缓存会让冗长度上涨最多 37%,并用随机舍入(stochastic rounding,SR)修复;后续工作扩展到 INT8 和 FP8 状态。PayPal 这篇的新增量是:补上了 bf16 这个服务引擎实际暴露的格式,并且做了六个模型、590 道竞赛数学题(MATH-500 加 AIME 2024/2025 和 HMMT 2025)的系统测量,其中两个模型还补测了 175 道 LiveCodeBench。

核心数字:变长、撞顶、掉分

六个模型里五个在 bf16 RTN 状态下输出变长(几何平均 1.07 到 1.27 倍),且在贪心解码下同样成立——排除了采样随机性的解释。逐模型看(32K token 上限):

模型长度比截断次数准确率变化
Qwen3.5-9B(GDN)×1.265118 → 22385.6% → 70.8%
Nemotron-Nano-9B-v2(Mamba-2)×1.2115 → 3189.3% → 88.8%
Nemotron-Nano-12B-v2×1.1880 → 1790.0% → 90.5%
Nemotron-3-Nano-30B-A3B×1.08136 → 8192.5% → 87.3%
Qwen3-Next-80B-A3B(GDN)×1.07016 → 2495.9% → 94.6%
Falcon-H1R-7B×1.00826 → 2792.9% → 93.4%

两个细节值得放大。第一,题目越难放大越狠:Nemotron-Nano-9B-v2 在 MATH-500 上长度比只有 1.15,但在 AIME24、AIME25 和 HMMT 上分别到 1.48、1.40 和 1.68——恰恰是最值钱的难任务承受最大的成本膨胀。第二,语言层面有信号:bf16 状态下「Alternatively」这个转折词的频率从每千 token 1.14 次涨到 1.39 次(p = 2e-10),而「Wait」「Hmm」「But」没变。模型不是变啰嗦了,是陷入了「换个思路再试一次」的探索循环。

代码能力同样受损:两个受测模型在 LiveCodeBench 上变长之外,pass@1 分别掉了 12.6 和 13.4 个百分点。

加预算救不回来的那部分

一个自然的反驳是:变长就变长,把预算开大不就行了?论文把被截断的题目用 128K 预算重跑,发现准确率差距被腰斩但没有归零(93.6% 对 86.6%)。原因是 bf16 下永不终止的运行是 FP32 的两倍,其中 85% 是精确的重复循环——状态已经漂移到「复读机」模式,多少预算都出不去了。不过有个例外值得记住:Nemotron-Nano-9B-v2 的 31 次额外截断里 30 次能在 128K 内跑完,这个系的代价基本是纯 token 成本,不是能力损失。

修法:等宽随机舍入,但别急着全量铺开

论文的修复方案是 bf16 随机舍入:在 bf16 尾数下方加 16 个随机位再截断,让舍入方向的概率等于小数部分的位置,从而消除固定方向的偏差。亮点是等宽——存储与 bf16 RTN 完全相同、并发上限不变,用整数哈希随机数生成器后解码速度也不掉。结果:五个受影响模型里四个修复(Qwen3.5-9B 回到 87.6%,超过 FP32 的 85.6%),Nemotron 系甚至只需要对 25% 的中间衰减带头部开启 SR。

但两个保留意见必须写清楚。其一,Nemotron-3-Nano-30B 是修不好的反例(SR 后截断 41 次,仍远高于 FP32 的 36 次),作者自己也强调要按模型验证。其二,teacher-forced KL 这个常用的离线指标在排序头部分组时和闭环表现不一致——离线代理指标在这里失灵,必须用真实生成来验证。

我的工程判断

风险面比你以为的大。 同一个模型配置里没有 mamba_ssm_dtype 字段时,vLLM 0.33 沿用模型 dtype(通常 bf16),SGLang 0.5.21 默认 FP32——同一份模型在两个引擎下截断率和准确率可以差出一截。更隐蔽的是微调或合并 LoRA 时配置字段被静默丢掉的情况。这就是论文五条建议里第一条是「记录状态 dtype」的原因。

成本账要按工作负载算。 bf16 状态的收益是显存减半、单卡并发翻倍;代价是难任务上最多 68% 的输出膨胀和截断翻倍。对短输出的高吞吐服务(分类、抽取),bf16 几乎稳赚;对长思考链的推理服务,这个组合很可能是负收益——多付的 token 钱比省下的显存钱多。

可操作性暂时有限。 SR 补丁没有随论文开源,SGLang 也尚未内置这个功能。今天就能落地的动作是三件:查一遍自己引擎的状态 dtype 配置并显式固定;评测报告里加上截断率和输出长度两个指标(论文强调精度变化主要通过截断影响准确率,只报「都跑完的子集准确率」会掩盖问题);被截断的样本单独用大预算重跑并统计精确重复循环的占比,区分「想得慢」和「想不完」。

和站内上一篇量化论文的关系:11 月 4 日那篇讲的是 4-bit 权重量化(AWQ/GPTQ)对 coding agent 行为的漂移,机制是权重精度损失;这篇是服务侧状态缓存的 dtype 配置问题,机制是每步重舍入的累积偏差。一个在离线转换环节,一个在运行时部署环节,修法也完全不同——放在一起看恰好构成了「数值精度如何侵蚀 agent 质量」的完整图景。

局限也要说:六个模型、以数学和代码为主的基准、每臂单种子、一家公司的硬件环境。Falcon-H1R 的免疫和 Nemotron-3 的修不好都说明这个效应高度依赖架构细节,别把结论外推到你手上的模型——先跑一轮对照再下结论。

Frequently asked questions

为什么 bf16 存状态缓存会导致模型话变多?
混合模型的循环层(Mamba-2、Gated DeltaNet)在解码时每生成一个 token 都要读取状态、更新一次、再写回缓存。每次写回都要在 FP32 真值和 bf16 可表示值之间做一次舍入。round-to-nearest 有固定方向的偏差,长思考链里每步的小偏差会相干累积,把模型推向「再想一步」的状态,于是输出变长、更容易撞到 token 上限。
这次的问题和我熟悉的权重量化是一回事吗?
不是。权重量化(AWQ、GPTQ 之类)是离线把权重压到低位宽,影响的是前向计算的数值;本文说的是服务运行时的状态缓存 dtype,是每个推理步都发生一次的舍入。两者可以独立存在:你可以一边用 4-bit 权重省显存,一边把状态缓存保持 FP32。本站 2026-11-04 那篇量化影响 coding agent 行为的论文讲的是前者,这篇讲的是后者。
所有混合模型都受影响吗?
六个受测模型里五个输出变长,但严重程度差异很大:Qwen3.5-9B 最惨(截断率接近翻倍、准确率掉 14.8 个百分点),Nemotron-Nano-12B-v2 变长但准确率几乎不动,Falcon-H1R-7B 则完全免疫(长度比 1.008、p=0.66)。另外 Nemotron-3-Nano-30B 用随机舍入也修不好,是五个受影响模型里唯一的例外。所以结论是按模型验证,不能一刀切。
我现在用什么推理引擎,默认是安全的吗?
不一定,引擎间默认值不一致。论文实测:同一个 Qwen3.5 配置里没有 mamba_ssm_dtype 字段时,vLLM 0.33 会沿用模型 dtype(通常是 bf16),而 SGLang 0.5.21 默认用 FP32。也就是说同一份模型文件在两个引擎下行为可能不同。做法是显式设置该字段并写进部署文档,别依赖默认值。
随机舍入(SR)现在能在生产里直接开吗?
暂时不能开箱即用。论文的 SR 是团队自己改 SGLang 的 Triton 选择性状态更新内核和 GDN 解码内核实现的(在 bf16 尾数下加 16 个随机位再截断),补丁没有随论文开源,SGLang 官方也还没合入这个功能。今天能做的是:确认状态 dtype 配置、在评测里加上截断率和输出长度两个指标、必要时退回 FP32 状态缓存。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.