💡 论文信息：Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards，arXiv 2610.18868，2026-10-13 提交，作者来自 Wenbo Hu、Shraman Pramanick、Krishna Kumar Singh、Nanyun Peng、Kai-Wei Chang、Yong Jae Lee 等（UCLA 相关团队），项目页 tev-agent.github.io。
长程代理（long-horizon agent）是这一年最热的方向：让代理自主工作数小时甚至数天，完成有经济价值的任务，这是自动化科学发现与递归自我改进的前提。但开源模型在这类任务上一直掉队，论文开篇点破原因：既缺训练数据，又缺工作配方——长而复杂的任务难于策划、难于验证，奖励还极度稀疏。Tev 的贡献就是把这两个问题一起解决。
一、为什么长程任务的奖励如此难做
先看清楚问题本身。短程任务的 RL 训练已经跑通：任务可以批量构造，结果可以自动判定，奖励信号密集。而长程任务有三个连锁困难：
- 策划难。一个横跨数小时的任务，其状态空间、合法操作、中途分叉都远超人工可枚举的范围。
- 验证难。终点可以判定成败，但中途每一步对不对，没有天然判据。你不可能给每一步都配人工审查。
- 稀疏难。即使终点奖励可判定，代理在数千步的轨迹中只收到一次信号，信用分配（credit assignment）几乎没有信息量，策略梯度基本在盲走。
学术界与工业界各自应对过一角：可验证奖励（RLVR）解决了「判定」但没解决「中途」；过程奖励模型（PRM）试图给每步打分，但打分器本身要训练、会漂移。Tev 的答案是绕开这两条路的假设——如果环境本身就是从一个「知道每步该是什么状态」的规范里生成的，进度判定就不需要学出来，它是构造出来的。
二、Tev-Gym：潜在世界优先的环境构造法
Tev-Gym 是论文给出的第一个贡献：首个带可验证、密集、渐进奖励的长程代理训练数据集，含 1170 个经过验证的任务环境，覆盖 7 个领域。
构造方法叫「潜在世界优先」（latent-world-first），分两步：
第一步，构造潜在世界。 对每个任务领域，先写出一个完整且正确的隐藏规范：这个领域的工作流是什么、每类任务在每一步执行后世界应处于什么状态。这个规范不暴露给代理，它是「上帝视角」的真值。
第二步，渐进渲染。 从规范把任务渲染成代理可见的环境。因为渲染源是同一个规范，两件原本做不到的事变得自然：
- 复杂度可控。同一规范可以渲染出浅任务也可以渲染出深任务，数据集可以按难度梯度铺开。
- 进度天然可测。代理每执行一步，环境可以对照规范算出「当前状态距离完成还有多远」。这个进度值不需要任何学习，是规范自带的。
这解决了上面的策划难与验证难。剩下的稀疏难，交给第二个贡献。
三、PPRS：把进度变成每步奖励
进度势能奖励塑形（Progress-Potential Reward Shaping）把上一步的进度度量转成训练信号：代理每走一步，环境计算进度势能的变化，作为该步的密集奖励。走对了方向有正反馈，走偏了有负反馈，终点还有终局奖励兜底。
这本质上是奖励塑形（reward shaping）思想在代理训练里的落地，但它有一个前作不具备的支点：进度函数是规范的产物，不是模型估计的。PRM 路线最大的软肋是「裁判本身会错」，Tev 的裁判是环境规范，错误率由构造质量决定而非模型能力决定。这也是为什么它敢把密集奖励直接喂给 RL 而不担心奖励黑客（reward hacking）——代理要hack的不是一个可学习的判别器，而是一个隐藏规范。
训练效率的收益是实打实的：论文报告原本不可训的任务在 PPRS 下变得可训，样本效率显著提升。对做过 RL 的人来说，这句话的分量很清楚——长程任务的 RL 从「跑不动」变成「跑得动」。
四、Tev-27B 的成绩单
用这套配方训出的 Tev-27B 有三组关键结果：
- 主战场 ALE-CM（Agents’ Last Exam 计算与数理领域）：Pass@5 口径追平 GPT-6 Astra 与 Claude Opus 5。一个 27B 开源模型在长程任务上与当季旗舰闭源模型同档，这是本篇最有传播力的数字。
- 跨域泛化 Terminal-Bench 3.0 与 4.0 子集：训练数据只含 ALE 相关领域，模型没有见过 TB 的任务分布，却超过 GLM 5.2 与 Gemini 3.7 Flash。说明学到的是「长程工作的元能力」而非领域记忆。
- 中程任务 TB 2.1：达到 Claude Opus 4.8 水平。中程任务更多考察稳定性与恢复能力，这通常是密集过程奖励的直接受益区。
三组结果合起来讲了一个完整的故事：配方比规模更重要，而配方的核心是「可验证的密集进度信号」。
五、工程视角：这套方法离你有多远
对在业务场景里做代理的团队，Tev 的方法论有三层可迁移性：
第一层，评测自建。 大多数团队评代理靠第三方基准加人工测试。潜在世界优先的方法可以直接搬：先为你的业务域写出「每步后状态应是什么」的规范，再从规范渲染评测任务。评测集从此可以按需生成、按难度梯度铺开，且每个任务自带进度判据。
第二层，奖励重构。 如果你在做代理微调或在线优化，把业务 KPI 拆成每步可判定的进度指标，比等终局反馈有效。关键是找到「规范」这个锚——它可以是规则引擎、可以是类型系统、可以是数据库约束，只要它不依赖可学习的判别器，奖励黑客的风险就低一个量级。
第三层，数据管线。 渐进渲染意味着一个规范能出一片任务族。数据稀缺的解法不是攒更多人工标注，而是把标注预算投到规范上，让任务从规范里长出来。
六、局限与开放问题
论文没有回避的问题有三个。训练分布窄：数据全来自 ALE 相关领域，TB 泛化是佐证但不等于全域泛化；构造成本：1170 个环境背后的规范编写投入未完全披露，「便宜构造」的说法还需要社区复现检验；口径问题：主结果用 Pass@5，对采样预算有要求，Pass@1 的数字未作主指标。
更大的开放问题是规范本身的上限：潜在世界规范适合状态可枚举、流程可形式化的领域（计算、数理、工程仿真），而真实世界的长程工作（谈判、调研、创作）未必能写出「每步后的正确状态」。Tev 证明了这条路线在可形式化领域走通了，它能不能跨越到开放领域，是下一个值得盯的问题。
项目页与论文均已公开，27B 模型与环境的开放情况可关注 tev-agent.github.io 的后续更新。