HN 上周末有一篇 311 分的热帖，标题就叫《我很抱歉，但你还是得思考》，讨论的正是推理模型时代的资源分配问题：思考是必要的，但每一回合都思考是浪费。巧的是，arXiv 在 10 月 8 日挂出的一篇论文恰好从训练侧回答了「什么时候不必思考」——这就是今天要精读的 RACE（Reasoning Adaptation through Cross-Turn Estimation），来自中国人民大学高瓴人工智能学院与阿里巴巴 Token Hub 的合作，基于 Qwen 系列模型完成，代码开在 GitHub 的 HututuAI/RACE 仓库。
一、问题：每回合都推理，是一种隐性的默认浪费
当前主流 Agent 的行为模式高度一致：每个回合，先在动作前生成一段推理，再执行动作。这个「思考-行动」循环继承自 ReAct 范式，在复杂任务上确实有效，但它隐含了一个从未被质疑的假设——每个动作都需要新鲜推理。
作者的真实观察是：推理的生命力常常超出产生它的那个回合。第一回合生成的计划、约束条件、中间判断，可能持续支撑后续多个回合的动作；到第五回合还在重新推导第一步就想清楚的子目标，纯属重复劳动。作者把这称为跨回合推理持续性（cross-turn reasoning persistence）。长轨迹上，这种浪费会随回合数线性放大，成为推理成本的主要来源。
二、关键观察：用似然下降代替昂贵的验证
要让模型学会「何时不思考」，训练管道需要给轨迹里的每个推理步打上「可删/不可删」标签。此前做法是生成式验证：把推理删掉，重新生成动作，对比删前删后——每个候选推理步都要跑若干次完整生成，轨迹越长、策略更新越频繁，合成成本越不可控。
RACE 的破局点是一个漂亮的经验发现：删除某段推理后，后续参考动作的似然下降幅度，与「这些动作在仅剩早先推理支撑时能否被恢复」高度相关。也就是说，不用真的生成动作再对比，只算一次对数似然就能近似回答「这段推理还有多少人依赖它」。图 1 的分析显示两者曲线几乎重合，这为轻量信号的有效性提供了直接证据。
三、LoGiC：渐进式推理覆盖检测
基于上述观察，RACE 设计了 LoGiC（Likelihood-Guided Progressive Reasoning Cover Detection）流程：逐个检验候选推理步，把它从上下文中移除，计算当前与后续所有受影响参考动作的似然变化；只要所有动作的下降都保持在阈值内，该推理步即被删除。最终保留下来的推理步集合构成一个「推理覆盖」（reasoning cover）——它像遮盖整条轨迹的最小骨架，保证每个动作在执行时刻都有足够的推理支撑。
这套流程的工程价值在于：只需要对已有参考动作做前向计算，不需要任何生成。信号获取成本从「每回合若干次生成」降到「每回合一次前向」，这正是它能被塞进 RL 训练循环的前提。
四、两阶段训练：先模仿，再强化
RACE 的训练分两步。SFT 阶段：LoGiC 把全推理轨迹改写成自适应推理轨迹——该思考的地方保留，可省略的地方让模型直接执行动作——教会策略「什么时候可以直接做」。RL 阶段：在当前策略采样的成功轨迹上运行 LoGiC，得到推理删除信号，再转成「推理终止监督」，与任务奖励并行优化。任务奖励负责把事做对，删除信号负责决定何时停止思考，两者各司其职。
五、结果：token 砍掉八成，成功率反而更高
主实验横跨四个智能体基准：ScienceWorld（科学推理）、WebShop（网页购物）、AppWorld（应用操作）、DeepSearch（知识密集型检索），骨干为 Qwen3.5-9B，对比对象包括 Think Tool、ADaPT、Sparse ReAct、DART、AdaptThink 等推理高效方法，以及 DeepSeek-V4-Pro、GLM-5.3、GPT-5.5、Claude-Opus-4.6、Kimi-K3 等闭源旗舰。
核心数字如下：
| 基准 | RACE-SFT-RL 成功率 | 平均推理 token | 相比 SFT+GRPO 的 token 降幅 |
|---|---|---|---|
| ScienceWorld | 73.28 | 1,403 | -32.3% |
| WebShop | 53.40 | 535 | -80.2% |
| AppWorld | 65.13 | 1,900 | -46.4% |
| DeepSearch | 35.00 | 822 | -62.0% |
与未训练的 Qwen3.5-9B 基座相比，RACE-SFT-RL 在四个基准上成功率分别提升 54.76、37.80、18.98、5.75 个百分点，同时推理 token 减少 36.5%、80.3%、39.4%、35.8%。消融实验同样有说服力：把 LoGiC 从 RL 里拿掉，AppWorld 的平均推理 token 从 1,900 暴涨到 8,574；去掉推理掩码则普遍拉低成功率。
行为分析揭示了更细腻的图景：RL 之后跳过推理的回合比例在四个基准上分别达到 69.65%、55.72%、52.15% 和 5.77%，而保留下来的思考在 ScienceWorld、AppWorld 上变长、在 WebShop、DeepSearch 上变短。也就是说，RACE 学到的不是「一刀切少想」，而是按任务特性重新分配思考预算——把省下来的 token 花在刀刃上。
六、工程视角：推理是预算，不是默认动作
把 RACE 放回更大的语境：Anthropic 的 think 工具、各家模型的思考开关、以及上周 HN 上「你还是得思考」的讨论，都在指向同一个共识——思考本身是有成本的资源，需要被显式管理。RACE 的贡献是给出了一条可训练、可扩展的路径：把「何时思考」从启发式开关变成策略的一部分。
对应用层开发者的启示同样直接：审计你的 Agent 轨迹，统计有多少回合的推理是对上一步的复述；在编排层先做规则化的思考省略（环境无新信息、规划未变时直接执行），通常不需要微调就能拿走一部分收益。RACE 证明的天花板则是：这部分浪费在训练侧最多可以砍掉八成，且不牺牲、甚至提升任务表现。
局限也要说清楚：似然信号依赖高质量的动作标注；小模型、少数据场景下 RL 训练稳定性下降；四个基准都是软件任务型环境，向物理操作与开放任务的外推仍待验证。但作为「推理经济性」这条线上的最新一步，RACE 把「跨回合」这个此前被忽视的时间维度正式摆上了台面。