Paper

Experience Rot:Agent 的记忆如何在工具静默变更后变成负资产

7 min read ·

上个月我写过 MemDoor,思路是给 agent 装一个结构化记忆组件,让经验复用更高效。当时隐含的假设是:记忆越多、复用越多,agent 越强。两周前提交的论文 Experience Rot: Experienced Agents Fail Where Novices Succeed(arXiv 2611.20922,2026-11-16,Zhen Xu 等 5 人)把这个假设直接打穿了:在工具接口静默变更之后,有经验的 agent 比零经验的 agent 失败得更惨。这篇论文不是又一个「agent 记忆增强」的增量工作,而是给整个经验复用路线指出了一类此前被掩盖的系统性风险。下面按论文结构拆数字,最后给工程判断。

实验设计:把「静默变更」做成可控变量

实验用 MCP 风格的函数调用定义了 3 个模拟服务:日历、任务列表、邮件客户端。每个服务有 A、B 两个版本,只在一处接口细节上不同,共 7 类变更双向测试,包括三类「定义里可见」的变更(字段重命名 attendees 改 guests、结构变更 end_time 改 duration_minutes、值集合变更 urgent/high/normal/low 改 p0/p1/p2/p3)和四类「只写在文档里」的含义变更(优先级方向反转、星期编号起点从 0 等于周一切到 0 等于周日、月份编号偏移、时长单位分钟改秒)。

关键设计是变更完全静默:旧格式的请求依然返回 {"ok": true, "accepted": true},未知字段被忽略,未知值让状态保持不变——agent 不会收到任何报错信号。这一点其实非常贴近真实世界:大量生产 API 就是这样处理弃用字段的,HTTP 200 加忽略未知参数是兼容性的标准做法,而不是 exception。

episode 分三臂:无经验(直接做最终任务)、有效经验(先在新版本服务上做前期任务再做最终任务)、过期经验(先在旧版本上做前期任务,工具静默切到新版本后再做最终任务)。6 个模型(GLM-5.3-Flash、Muse-Glimmer-30B、DeepSeek-V4-Flash、MiniMax-M3、Qwen3.8-Flash、Inkling),温度 0.7,每任务最多 16 次模型调用,总计 12624 个有效 episode。

核心数字:经验把成功率从 100% 打到 23%

文档不完整时的聚合结果最能说明问题:

条件最终任务成功率
无经验63%
有效经验100%
过期经验23%

有效经验比无经验高 37 个百分点,证明记忆本身是有用的;但过期经验比无经验低 40 个百分点。同一批经验,变更前让 agent 全对,变更后让 agent 接近全错。这不是「记忆没帮上忙」,而是记忆 actively 把 agent 带进了沟里。

更扎心的是虚假成功报告:完整文档条件下的 348 个失败运行里,347 个(99.7%)向用户报告「任务已完成」。结合前文的静默容错设计,这条链路完整了:agent 照抄旧调用,服务器返回 ok,状态实际没变,agent 确认「写入成功」收工。用户看到的是一句自信的总结,背后是一次彻底的失败。

失败随经验量递增:对话历史里同类前期任务从 1 条增加到 3 条再到 10 条时,过期经验成功率从 46% 跌到 33% 再到 26%,而有效经验始终保持在 97% 以上。同时 agent 主动查阅文档的比例从 4% 降到 0%——经验越厚,agent 越自信,越觉得不需要再看当前接口。这就是「rot」的动态过程:记忆不是一次性失效,而是持续腐蚀 agent 的验证习惯。

分模型差异也值得看:完整文档加类型化定义的条件下,过期经验成功率 MiniMax-M3 只有 5%,Muse-Glimmer-30B 25%,DeepSeek-V4-Flash 35%,GLM-5.3-Flash 70%,而 Qwen3.8-Flash 拿到 100%——原因很朴素,它每次写入后都会读回确认并纠正。一个 harness 层的习惯救了一个模型。

四种记忆形式:不是都能 rot 得一样快

论文测了四种常见的经验载体,这是我认为对实践者最有参考价值的一组数字(过期经验下的最终任务成功率):

记忆形式有效经验过期经验单次任务调用成本
对话历史100%47%0.53
记忆文件99%72%0.27
检索式记忆(top-3)96%76%0.20
技能(Python 脚本加笔记)91%61%0.30

两个可操作的结论。第一,对话历史是最容易腐烂的载体:它最贵(每步重发全部上下文),又最让人懒得查文档(查阅率 2%),过期后成功率反而最低。第二,笔记类设计天然更抗 rot,因为检索笔记这个动作本身会把 agent 的注意力拉回当前文档(查阅率 24% 到 34%)。辅助证据:60% 到 73% 的记忆文件、92% 的技能笔记里记录的是旧版本的字段名和取值——经验一旦写下来就是快照,而接口是活的。

补救措施:大部分「直觉正确」的做法被实测打脸

论文系统测了补救方案,基线是不加任何措施时完整文档 46%、不完整文档 23%:

  • 宣布更新(版本号加更新通知):50%,只涨 4 个百分点。给 agent 发 release notes 基本没用——它看到了通知,但调用时还是照抄历史。
  • 指向文档(放进系统提示):29%,反而下降。前期任务里 98% 的 agent 会查文档,到最终任务只剩 4% 还在查。系统提示里的长指引在中段任务就被稀释了。
  • 文档放进任务消息:99%,所有模型都查阅。但前提苛刻——文档必须真的写了答案;文档不完整时虽然 100% 都去查了,成功率只有 25%。
  • 写后读回验证(read-back 指令):完整文档 91%、不完整文档 69%,全场最有效。代价是模型调用次数从 3 次左右涨到 6.5 到 10.6 次。
  • 要求写入并返回存储对象:79%。让操作产生可验证的返回值,而不是一个布尔 ok。

还有一个容易忽略的发现:手工编写的、含 read-back 步骤的历史记录成功率 88%(成本 0.11),而 agent 自己攒的经验只有 46%(成本 0.54)。作者推测这正是 Experience Rot 此前少受关注的原因之一——评测里塞的是精心设计的历史,真实用户攒的是朴素历史。

工程判断:能不能信,坑在哪,防线怎么搭

可信度。统计面扎实:12624 个 episode、预注册对照、双向变更。但要说清局限:环境是 3 个玩具服务的单点变更,真实 MCP 服务器变更往往有弃用周期和公告;真实 agent 工具更多,可以从别的工具交叉验证状态。所以 23% 这个数字在真实部署里大概率不会这么极端,但机制是通用的——只要你的服务端存在「未知字段忽略加 200 返回」,同样的失败链路就在。我认为结论方向完全可信,幅度要按自己系统的容错策略打折。

根因拆解(这是论文没有明说、我自己的读法)。失败链条其实是两层叠加,各自可修:

  1. 客户端层:agent 用「上次怎么调的」替代「接口现在长什么样」,本质是无失效机制的缓存(cache without invalidation)。read-back 验证、记忆条目带 schema 指纹,都是在给这层缓存补失效逻辑。
  2. 服务端层:静默容错剥夺了所有错误信号。{"ok": true, "accepted": true} 对未知字段视而不见,是人类为了向后兼容设计的宽容,对 agent 是灾难。对未知字段返回 warning、对弃用值返回 deprecation 提示,成本极低,收益覆盖所有下游 agent。

五条防线,按投入产出排序:

  1. 服务端别静默吞字段——改一个返回结构的成本,换掉一整类故障。
  2. 工具变更时把 changelog 注入任务消息而非系统提示(99% 对 54% 的差距就来自注入位置)。
  3. 高风险写入任务强制 read-back:调用次数翻倍,但 MiniMax-M3 从 5% 到 Qwen3.8-Flash 的 100% 说明这个习惯的杠杆率极高。长记忆、多任务场景优先加。
  4. 记忆条目记录「当时依赖的字段与取值」形成指纹,重放前先与当前 schema 比对,不一致就把该条经验降权或作废。论文里记忆文件加版本标签把成本从 0.27 降到 0.20,方向已经验证。
  5. 选记忆方案时优先检索式而非对话历史:更便宜、更抗 rot,还附带提高查文档率。

给 agent 记忆产品的一句话:经验复用的价值评估必须加入「接口变更频率」这个变量。工具生态越碎、变更越勤(MCP 服务器恰恰是高变更场景),记忆的折旧越快。「越用越聪明」和「越用越僵化」是同一个机制的两面,区别只在于接口变没变。

结语

这篇论文最大的价值不是那个 23% 的数字,而是它把「agent 记忆」从纯收益叙事里拽了出来:记忆是快照,接口是活物,两者之间的时差就是风险敞口。如果你在维护带记忆的 agent 产品,本周就可以做的三件事——检查服务端有没有静默吞字段的路径、把工具 changelog 改成任务消息注入、给写入类任务加 read-back。都不贵,每一件都直接对着论文里最刺眼的数字。

Frequently asked questions

Experience Rot 是什么意思?
指 agent 因复用过期经验而在任务上失败的现象。工具接口静默变更后,agent 仍按记忆里的旧调用方式发请求,服务器不报错但实际没执行预期操作,agent 却报告成功。论文用这个词类比记忆像食物一样会「腐烂」,且经验越丰富腐烂得越快。
这篇论文的实验可信吗?
统计量扎实:12624 个 episode、6 个模型、7 类变更双向测试,还有预注册的对照设计。局限是环境是 3 个模拟的小型服务(日历、任务列表、邮件),变更幅度小且完全静默,真实 MCP 服务器变更常有公告或弃用提示,实际严重程度可能低于论文数字,但根因机制真实存在。
实际工程中该怎么防 Experience Rot?
四条防线:服务端对未知字段和弃用值返回警告而不是静默接受;记忆条目记录所依赖的工具 schema 指纹,重放前先比对;高风险写入任务加写后读回验证;工具变更时把 changelog 直接注入任务消息而不是塞进系统提示。论文实测这四条的量化收益见正文。
哪种记忆形式最抗 Experience Rot?
检索式记忆(top-3 检索笔记)过期后成功率 76% 最高,记忆文件 72% 次之,技能脚本 61%,对话历史最差只有 47%。原因是笔记类设计促使 agent 更多查阅文档(查阅率 24% 到 34%),而对话历史查阅率只有 2%,agent 更倾向直接照抄上一轮调用。
为什么不直接在系统提示里告诉 agent 文档在哪?
论文实测这反而有害:指向文档放进系统提示后成功率从 46% 降到 29%,因为 agent 在前期任务 98% 会去查文档,到最终任务只剩 4% 去查。把文档放进任务消息则 99% 的 agent 会查阅,但前提是文档真的写了答案,文档不完整时成功率只有 25%。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.