上个月我写过 MemDoor,思路是给 agent 装一个结构化记忆组件,让经验复用更高效。当时隐含的假设是:记忆越多、复用越多,agent 越强。两周前提交的论文 Experience Rot: Experienced Agents Fail Where Novices Succeed(arXiv 2611.20922,2026-11-16,Zhen Xu 等 5 人)把这个假设直接打穿了:在工具接口静默变更之后,有经验的 agent 比零经验的 agent 失败得更惨。这篇论文不是又一个「agent 记忆增强」的增量工作,而是给整个经验复用路线指出了一类此前被掩盖的系统性风险。下面按论文结构拆数字,最后给工程判断。
实验设计:把「静默变更」做成可控变量
实验用 MCP 风格的函数调用定义了 3 个模拟服务:日历、任务列表、邮件客户端。每个服务有 A、B 两个版本,只在一处接口细节上不同,共 7 类变更双向测试,包括三类「定义里可见」的变更(字段重命名 attendees 改 guests、结构变更 end_time 改 duration_minutes、值集合变更 urgent/high/normal/low 改 p0/p1/p2/p3)和四类「只写在文档里」的含义变更(优先级方向反转、星期编号起点从 0 等于周一切到 0 等于周日、月份编号偏移、时长单位分钟改秒)。
关键设计是变更完全静默:旧格式的请求依然返回 {"ok": true, "accepted": true},未知字段被忽略,未知值让状态保持不变——agent 不会收到任何报错信号。这一点其实非常贴近真实世界:大量生产 API 就是这样处理弃用字段的,HTTP 200 加忽略未知参数是兼容性的标准做法,而不是 exception。
episode 分三臂:无经验(直接做最终任务)、有效经验(先在新版本服务上做前期任务再做最终任务)、过期经验(先在旧版本上做前期任务,工具静默切到新版本后再做最终任务)。6 个模型(GLM-5.3-Flash、Muse-Glimmer-30B、DeepSeek-V4-Flash、MiniMax-M3、Qwen3.8-Flash、Inkling),温度 0.7,每任务最多 16 次模型调用,总计 12624 个有效 episode。
核心数字:经验把成功率从 100% 打到 23%
文档不完整时的聚合结果最能说明问题:
| 条件 | 最终任务成功率 |
|---|---|
| 无经验 | 63% |
| 有效经验 | 100% |
| 过期经验 | 23% |
有效经验比无经验高 37 个百分点,证明记忆本身是有用的;但过期经验比无经验低 40 个百分点。同一批经验,变更前让 agent 全对,变更后让 agent 接近全错。这不是「记忆没帮上忙」,而是记忆 actively 把 agent 带进了沟里。
更扎心的是虚假成功报告:完整文档条件下的 348 个失败运行里,347 个(99.7%)向用户报告「任务已完成」。结合前文的静默容错设计,这条链路完整了:agent 照抄旧调用,服务器返回 ok,状态实际没变,agent 确认「写入成功」收工。用户看到的是一句自信的总结,背后是一次彻底的失败。
失败随经验量递增:对话历史里同类前期任务从 1 条增加到 3 条再到 10 条时,过期经验成功率从 46% 跌到 33% 再到 26%,而有效经验始终保持在 97% 以上。同时 agent 主动查阅文档的比例从 4% 降到 0%——经验越厚,agent 越自信,越觉得不需要再看当前接口。这就是「rot」的动态过程:记忆不是一次性失效,而是持续腐蚀 agent 的验证习惯。
分模型差异也值得看:完整文档加类型化定义的条件下,过期经验成功率 MiniMax-M3 只有 5%,Muse-Glimmer-30B 25%,DeepSeek-V4-Flash 35%,GLM-5.3-Flash 70%,而 Qwen3.8-Flash 拿到 100%——原因很朴素,它每次写入后都会读回确认并纠正。一个 harness 层的习惯救了一个模型。
四种记忆形式:不是都能 rot 得一样快
论文测了四种常见的经验载体,这是我认为对实践者最有参考价值的一组数字(过期经验下的最终任务成功率):
| 记忆形式 | 有效经验 | 过期经验 | 单次任务调用成本 |
|---|---|---|---|
| 对话历史 | 100% | 47% | 0.53 |
| 记忆文件 | 99% | 72% | 0.27 |
| 检索式记忆(top-3) | 96% | 76% | 0.20 |
| 技能(Python 脚本加笔记) | 91% | 61% | 0.30 |
两个可操作的结论。第一,对话历史是最容易腐烂的载体:它最贵(每步重发全部上下文),又最让人懒得查文档(查阅率 2%),过期后成功率反而最低。第二,笔记类设计天然更抗 rot,因为检索笔记这个动作本身会把 agent 的注意力拉回当前文档(查阅率 24% 到 34%)。辅助证据:60% 到 73% 的记忆文件、92% 的技能笔记里记录的是旧版本的字段名和取值——经验一旦写下来就是快照,而接口是活的。
补救措施:大部分「直觉正确」的做法被实测打脸
论文系统测了补救方案,基线是不加任何措施时完整文档 46%、不完整文档 23%:
- 宣布更新(版本号加更新通知):50%,只涨 4 个百分点。给 agent 发 release notes 基本没用——它看到了通知,但调用时还是照抄历史。
- 指向文档(放进系统提示):29%,反而下降。前期任务里 98% 的 agent 会查文档,到最终任务只剩 4% 还在查。系统提示里的长指引在中段任务就被稀释了。
- 文档放进任务消息:99%,所有模型都查阅。但前提苛刻——文档必须真的写了答案;文档不完整时虽然 100% 都去查了,成功率只有 25%。
- 写后读回验证(read-back 指令):完整文档 91%、不完整文档 69%,全场最有效。代价是模型调用次数从 3 次左右涨到 6.5 到 10.6 次。
- 要求写入并返回存储对象:79%。让操作产生可验证的返回值,而不是一个布尔 ok。
还有一个容易忽略的发现:手工编写的、含 read-back 步骤的历史记录成功率 88%(成本 0.11),而 agent 自己攒的经验只有 46%(成本 0.54)。作者推测这正是 Experience Rot 此前少受关注的原因之一——评测里塞的是精心设计的历史,真实用户攒的是朴素历史。
工程判断:能不能信,坑在哪,防线怎么搭
可信度。统计面扎实:12624 个 episode、预注册对照、双向变更。但要说清局限:环境是 3 个玩具服务的单点变更,真实 MCP 服务器变更往往有弃用周期和公告;真实 agent 工具更多,可以从别的工具交叉验证状态。所以 23% 这个数字在真实部署里大概率不会这么极端,但机制是通用的——只要你的服务端存在「未知字段忽略加 200 返回」,同样的失败链路就在。我认为结论方向完全可信,幅度要按自己系统的容错策略打折。
根因拆解(这是论文没有明说、我自己的读法)。失败链条其实是两层叠加,各自可修:
- 客户端层:agent 用「上次怎么调的」替代「接口现在长什么样」,本质是无失效机制的缓存(cache without invalidation)。read-back 验证、记忆条目带 schema 指纹,都是在给这层缓存补失效逻辑。
- 服务端层:静默容错剥夺了所有错误信号。
{"ok": true, "accepted": true}对未知字段视而不见,是人类为了向后兼容设计的宽容,对 agent 是灾难。对未知字段返回 warning、对弃用值返回 deprecation 提示,成本极低,收益覆盖所有下游 agent。
五条防线,按投入产出排序:
- 服务端别静默吞字段——改一个返回结构的成本,换掉一整类故障。
- 工具变更时把 changelog 注入任务消息而非系统提示(99% 对 54% 的差距就来自注入位置)。
- 高风险写入任务强制 read-back:调用次数翻倍,但 MiniMax-M3 从 5% 到 Qwen3.8-Flash 的 100% 说明这个习惯的杠杆率极高。长记忆、多任务场景优先加。
- 记忆条目记录「当时依赖的字段与取值」形成指纹,重放前先与当前 schema 比对,不一致就把该条经验降权或作废。论文里记忆文件加版本标签把成本从 0.27 降到 0.20,方向已经验证。
- 选记忆方案时优先检索式而非对话历史:更便宜、更抗 rot,还附带提高查文档率。
给 agent 记忆产品的一句话:经验复用的价值评估必须加入「接口变更频率」这个变量。工具生态越碎、变更越勤(MCP 服务器恰恰是高变更场景),记忆的折旧越快。「越用越聪明」和「越用越僵化」是同一个机制的两面,区别只在于接口变没变。
结语
这篇论文最大的价值不是那个 23% 的数字,而是它把「agent 记忆」从纯收益叙事里拽了出来:记忆是快照,接口是活物,两者之间的时差就是风险敞口。如果你在维护带记忆的 agent 产品,本周就可以做的三件事——检查服务端有没有静默吞字段的路径、把工具 changelog 改成任务消息注入、给写入类任务加 read-back。都不贵,每一件都直接对着论文里最刺眼的数字。