一篇来自支付公司的基础设施论文
2026-11-09 挂上 arXiv 的《Lost in Rounding: bf16 Recurrent State Makes Hybrid Reasoning Models Think Longer》(arXiv 2611.12127)出自 PayPal AI 的三人团队。有趣的第一观感是:这不是高校 NLP 组的论文,而是一家支付公司的 AI 基础设施团队,在自家 8 张 RTX PRO 6000 Blackwell 服务器上跑 SGLang 0.5.21 做出的结果。这种出身从侧面说明了问题的性质——它不关心模型能不能通过图灵测试,它关心的是生产集群上每一千 token 的成本。
研究对象是混合推理模型:用少量注意力层搭配大量循环层(Mamba-2 或 Gated DeltaNet)的架构。这类模型的卖点是循环层的状态是固定大小的缓存,不像注意力层那样随上下文线性增长,所以长上下文推理的显存压力小得多。Qwen3.5 系列、Nemotron-Nano 系列、Falcon-H1R 等近期开源模型都走了这条路。
机制:每步重舍入,偏差会滚雪球
关键在解码循环的细节。循环层的状态在每生成一个 token 时被读取、更新、写回缓存。如果缓存是 bf16,每次写回都要做一次 FP32 到 bf16 的舍入,而 round-to-nearest(RTN)的偏差有固定方向,会在长思考链上相干累积——几千步下来,状态的漂移足以改变模型的决策分布。
这不是第一个发现。NVIDIA 在 Nemotron 3 Super 的报告里就提到 FP16 SSM 缓存会让冗长度上涨最多 37%,并用随机舍入(stochastic rounding,SR)修复;后续工作扩展到 INT8 和 FP8 状态。PayPal 这篇的新增量是:补上了 bf16 这个服务引擎实际暴露的格式,并且做了六个模型、590 道竞赛数学题(MATH-500 加 AIME 2024/2025 和 HMMT 2025)的系统测量,其中两个模型还补测了 175 道 LiveCodeBench。
核心数字:变长、撞顶、掉分
六个模型里五个在 bf16 RTN 状态下输出变长(几何平均 1.07 到 1.27 倍),且在贪心解码下同样成立——排除了采样随机性的解释。逐模型看(32K token 上限):
| 模型 | 长度比 | 截断次数 | 准确率变化 |
|---|---|---|---|
| Qwen3.5-9B(GDN) | ×1.265 | 118 → 223 | 85.6% → 70.8% |
| Nemotron-Nano-9B-v2(Mamba-2) | ×1.211 | 5 → 31 | 89.3% → 88.8% |
| Nemotron-Nano-12B-v2 | ×1.188 | 0 → 17 | 90.0% → 90.5% |
| Nemotron-3-Nano-30B-A3B | ×1.081 | 36 → 81 | 92.5% → 87.3% |
| Qwen3-Next-80B-A3B(GDN) | ×1.070 | 16 → 24 | 95.9% → 94.6% |
| Falcon-H1R-7B | ×1.008 | 26 → 27 | 92.9% → 93.4% |
两个细节值得放大。第一,题目越难放大越狠:Nemotron-Nano-9B-v2 在 MATH-500 上长度比只有 1.15,但在 AIME24、AIME25 和 HMMT 上分别到 1.48、1.40 和 1.68——恰恰是最值钱的难任务承受最大的成本膨胀。第二,语言层面有信号:bf16 状态下「Alternatively」这个转折词的频率从每千 token 1.14 次涨到 1.39 次(p = 2e-10),而「Wait」「Hmm」「But」没变。模型不是变啰嗦了,是陷入了「换个思路再试一次」的探索循环。
代码能力同样受损:两个受测模型在 LiveCodeBench 上变长之外,pass@1 分别掉了 12.6 和 13.4 个百分点。
加预算救不回来的那部分
一个自然的反驳是:变长就变长,把预算开大不就行了?论文把被截断的题目用 128K 预算重跑,发现准确率差距被腰斩但没有归零(93.6% 对 86.6%)。原因是 bf16 下永不终止的运行是 FP32 的两倍,其中 85% 是精确的重复循环——状态已经漂移到「复读机」模式,多少预算都出不去了。不过有个例外值得记住:Nemotron-Nano-9B-v2 的 31 次额外截断里 30 次能在 128K 内跑完,这个系的代价基本是纯 token 成本,不是能力损失。
修法:等宽随机舍入,但别急着全量铺开
论文的修复方案是 bf16 随机舍入:在 bf16 尾数下方加 16 个随机位再截断,让舍入方向的概率等于小数部分的位置,从而消除固定方向的偏差。亮点是等宽——存储与 bf16 RTN 完全相同、并发上限不变,用整数哈希随机数生成器后解码速度也不掉。结果:五个受影响模型里四个修复(Qwen3.5-9B 回到 87.6%,超过 FP32 的 85.6%),Nemotron 系甚至只需要对 25% 的中间衰减带头部开启 SR。
但两个保留意见必须写清楚。其一,Nemotron-3-Nano-30B 是修不好的反例(SR 后截断 41 次,仍远高于 FP32 的 36 次),作者自己也强调要按模型验证。其二,teacher-forced KL 这个常用的离线指标在排序头部分组时和闭环表现不一致——离线代理指标在这里失灵,必须用真实生成来验证。
我的工程判断
风险面比你以为的大。 同一个模型配置里没有 mamba_ssm_dtype 字段时,vLLM 0.33 沿用模型 dtype(通常 bf16),SGLang 0.5.21 默认 FP32——同一份模型在两个引擎下截断率和准确率可以差出一截。更隐蔽的是微调或合并 LoRA 时配置字段被静默丢掉的情况。这就是论文五条建议里第一条是「记录状态 dtype」的原因。
成本账要按工作负载算。 bf16 状态的收益是显存减半、单卡并发翻倍;代价是难任务上最多 68% 的输出膨胀和截断翻倍。对短输出的高吞吐服务(分类、抽取),bf16 几乎稳赚;对长思考链的推理服务,这个组合很可能是负收益——多付的 token 钱比省下的显存钱多。
可操作性暂时有限。 SR 补丁没有随论文开源,SGLang 也尚未内置这个功能。今天就能落地的动作是三件:查一遍自己引擎的状态 dtype 配置并显式固定;评测报告里加上截断率和输出长度两个指标(论文强调精度变化主要通过截断影响准确率,只报「都跑完的子集准确率」会掩盖问题);被截断的样本单独用大预算重跑并统计精确重复循环的占比,区分「想得慢」和「想不完」。
和站内上一篇量化论文的关系:11 月 4 日那篇讲的是 4-bit 权重量化(AWQ/GPTQ)对 coding agent 行为的漂移,机制是权重精度损失;这篇是服务侧状态缓存的 dtype 配置问题,机制是每步重舍入的累积偏差。一个在离线转换环节,一个在运行时部署环节,修法也完全不同——放在一起看恰好构成了「数值精度如何侵蚀 agent 质量」的完整图景。
局限也要说:六个模型、以数学和代码为主的基准、每臂单种子、一家公司的硬件环境。Falcon-H1R 的免疫和 Nemotron-3 的修不好都说明这个效应高度依赖架构细节,别把结论外推到你手上的模型——先跑一轮对照再下结论。