arXiv 上关于智能体的论文正在变厚，但能把一次准确率损失拆解到「算错了、没看到、看错了」三个层级的并不多。10 月 19 日提交的 2610.26836《Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy》做到了这一点。论文来自 UC Riverside 与 UC Irvine 的联合团队，Ke Zhang 与 Maziar Raissi 领衔，研究的是一个每个做智能体框架的团队都会遇到、却很少有人能定位的工程问题：把工具的长输出存成文件、按需检索，到底在哪里付出了准确率代价。
问题背景：检索式上下文成了默认选项
智能体调用工具时，输出经常长到离谱：日志、搜索结果、模拟器报告。框架的设计惯例是把它们存进文件系统，让模型通过目录、搜索或范围读取按需取用，而不是一次性塞进上下文窗口。此前 Sen 等人的研究发现，把搜索结果以文件形式交付会在多数框架与模型组合上降低准确率，但没有回答损失发生在哪里；另有工作表明模型并不总会使用包含全部所需信息的上下文。
缺的正是这一层归因。一次错误回答无法自证：是模型算错了值，是从没看到正确的值，还是看到了却答错了？这篇论文的突破口是选择一个确定性工具，让每一次中间状态都可重放、可追踪。
实验设计：可追踪的模拟器加执行验证题集
作者选用的工具是 PHREEQC，美国地质调查局维护的水溶液地球化学模拟器。它的报告采用分节结构，最长可达 84.68 万字符，恰好是「必须管理上下文」的量级；更关键的是模拟过程完全确定，报告里每个打印值都能反查到对应计算，这为归因提供了基础设施。
题集为 158 道多选题，答案键全部经执行重新验证，确保没有标注噪声。实验只改变一个变量：模拟器报告如何送达模型。一种是内联，即把报告（必要时截断到固定预算）直接放进上下文；另一种是检索，报告存为文件，只提供章节目录，由模型自行决定读哪些部分。其余条件严格对齐，比较的就是上下文管理策略本身的净效应。
结果：同一场模拟，不同的证据
主结果干净利落。改为目录检索后，GPT-5.1 损失 11.3 分，GPT-5.2 损失 7.9 分；而 Claude Opus 4.6 与 Claude Sonnet 4.6 没有可检测的损失。同样的框架、同样的题，差距完全来自模型与上下文策略的交互。
但真正的贡献在下一步归因。作者重跑了实验全程记录的 11007 次模拟器调用，发现两个 GPT 模型计算出关键答案值的频率与之前大体相当。也就是说，瓶颈不在计算能力。变的是模型依据什么作答：在检索模式下，它们经常跳过模拟器报告，转而依据自己写出的更高精度输出文件，然后把高位数值截断到题目选项精度时，落到了相邻的错误选项上。
论文给这个故障起了名字：证据替换。示意图里的例子很典型：某题的关键值被模拟器写进报告，精度与选项一致；智能体同时把它写进自己的输出文件，带着更多小数位。目录检索下模型只读了自己的文件，把 2.75065 截断成 2.750，恰好是干扰项；而当指令明确要求它依据报告作答时，它答对了。137 道数值题上的报告跳过率与答错率曲线，直观展示了这条失效路径。
进一步的控制实验加固了这个结论：把模拟过程固定住，只改变证据送达方式，GPT-5.2 依然损失 9.4 分，说明损失几乎全部来自证据使用环节。而 GPT-5.4 的表现提供了另一个维度的警示：它更频繁地跑出正确模拟，这种能力提升掩盖了大约 10 分的证据使用缺陷，净准确率变化与零无法区分。只看榜单数字，你会以为上下文策略对它无害。
干预：什么有用，什么没用
论文测试了三类干预，结论对实践相当有指导价值。在指令中指明权威输出来源，三个 GPT 模型均提升 6.3 到 7.9 分，是性价比最高的措施。对放得下的输出直接内联，对 GPT-5.1 与 GPT-5.2 同样有效，等于用上下文预算换证据纯度。而明确要求模型「正确舍入」几乎没用，因为故障不在舍入口令，在它读错了文件。这与证据替换的机制判断互相印证：干预必须作用于证据选择，而不是计算环节。
工程意义：评估口径要换
论文的最后一句建议值得每个框架团队抄在墙上：上下文管理策略的取舍，应该按准确率损失发生的位置来评判，而不只看最终准确率。这条原则对本博客此前讨论过的多个主题形成了直接呼应：context-mode 这类上下文优化工具的价值主张是省 token，但省下来的 token 是否以证据质量为代价，需要按本文的归因框架逐项验证；而智能体评测的设计，也必须把「计算、读取、使用」三步拆开记录，否则一次框架升级的收益会被模型升级的假象吞掉。
对使用现成框架的开发者，可操作的结论有两条。第一，长工具输出优先内联到上下文预算内，超出预算再上检索，并始终在指令中指明哪份输出是权威来源。第二，换模型时不要默认沿用旧的上下文策略，本文中 GPT 与 Claude 两个家族对同一策略的敏感度截然不同，策略与模型必须作为联合变量评估。
确定性工具加全程调用重放，这套方法论本身也是亮点。它证明了智能体的许多「玄学」问题，在工程上是可以被拆解成可观测步骤的。对做智能体可观测性的团队，这篇论文的实验设计比它的结论更值得细读。