Paper — Oct 4, 2026

OffQuery 论文速读:答案对了,共享状态却坏了

Paper 4 min read ·

10 月 1 日挂上 arXiv 的论文 2610.01244 来自新加坡 ASTAR、新加坡国立大学与西安交通大学的联合团队,标题直译过来是「答案正确,状态错误:多智能体协作中的隐藏信息失败」。它指出了多智能体评测里一个长期盲区:我们按「这一轮任务答对没有」来给系统打分,但协作可能在给出正确答案的同时,把共享信息状态搞得一塌糊涂。

问题:正确答案背后的污染状态

作者把这类失败命名为 off-query failure——「查询之外」的失败。设想一个医疗决策支持系统:检索智能体带回一份被篡改的病历摘要,推理智能体恰好在当前问题上用不到那段错误数据,于是给出了正确建议。表面一切正常,但错误事实已经写进了共享状态。下一个任务一旦触及那段数据,失败就会延迟爆发。它延迟得越久,溯源成本越高——等到第三个、第四个任务失败时,没有人能说清污染是从哪一轮协作进入系统的。

这类失败之所以长期隐形,是因为几乎所有多智能体评测都是「任务内」的:只看最终输出对不对,不审计协作过程中共享状态发生了什么。训练信号如此,评测信号也如此,模型自然学不出维护状态可靠性的习惯。

OffQuery:把协作拆成三层来测

团队构造了 OffQuery 评测,把协作决策支持拆成三个独立任务。T1 测证据核验:判断给到的证据哪些真实、哪些被污染。T2 测共享状态重建:把协作留下的信息碎片还原成一份可信的世界状态。T3 才是传统评测最熟悉的任务决策:在给定状态下选出正确行动。

场景选了两个高风险领域:医疗健康与灾难响应。模型覆盖 GPT、Gemini、Qwen 三家,共 21 个模型与配置组合。结果差异惊人:T3 任务决策平均达到 64.7%,T2 状态重建只有 43.1%,T1 证据核验更是低到 14.3%。换句话说,系统「会做事」远强于「会核实」——决策层的能力与状态层的可靠性之间存在一条巨大的裂缝。

根因:选择性用信

为什么 T3 高、T1 低?作者把差距追溯到「selective information use」:当前查询往往只触碰状态里的一部分事实,被污染的那部分恰好被绕过,于是错误既不影响本轮输出,也没有任何机制去纠正它。污染就这样在状态里潜伏下来。这是一个结构性问题——不是某个模型不够聪明,而是协作目标函数里根本没有「维护状态可信」这一项。

ReGround:把「信什么」变成显式流程

配套提出的 ReGround 方法分四步:先消解相互冲突的证据,再核验要纳入的关键共享事实,然后只让通过核验的事实进入重建后的可信状态,最后基于这份状态做推理。它不新增模型,只是把「决定相信什么」从隐式的推理副产品变成强制阶段。

结果在三个家族的 7 个模型上全部为正:T1 平均相对提升 309.0%,T2 提升 82.9%,T3 提升 17.6%。注意提升幅度的排序恰好与原始短板排序一致——越弱的能力被补得越多,说明方法确实在修结构性缺陷而不是刷榜。T3 也随之小幅提升,原因很直觉:地基干净了,盖楼自然稳。

值得强调的是泛化性:7 个模型横跨三大家族,没有任何一个场景出现负增益。这意味着 ReGround 不依赖特定厂商的模型特性,四个阶段的流程是模型无关的——你可以用任何够用的模型来执行核验步骤,甚至可以让一个便宜的小模型专责「查证」,把贵的大模型留给决策。这种分工恰好与当前流行的多模型协作架构对齐,落地阻力比想象中小。

工程意义:评测与架构各改一处

对做智能体系统的团队,这篇论文有两处直接可用的启示。评测层面:在任务间隙插入状态审计,检查共享记忆与工作区里的事实是否被污染,别让「下一轮任务通过」掩盖状态劣化。架构层面:把证据核验做成写入共享状态前的显式关卡。ReGround 的分阶段流程就是一个可以直接抄的模板。

更远的含义是,当多智能体系统开始长跑——会话跨越数小时、任务相互衔接——状态可靠性会从「锦上添花」变成「主要瓶颈」。本周 Offrun 这类给智能体做隔离与记忆治理的工具走红,与论文的结论互为印证:协作智能体的下一个战场不在单轮智能,而在共享状态的卫生学。

还有一个值得注意的方法论细节:OffQuery 之所以能测出这条裂缝,是因为它把三个能力拆成了独立任务,而不是混在一个端到端场景里打总分。如果只看 T3,21 个模型配置的平均 64.7% 看起来尚可接受;一旦拆开,T1 的 14.3% 立刻暴露出结构性问题。这给所有做智能体评测的团队提了个醒:聚合指标是失败模式的遮羞布,维度拆分本身就是发现问题的第一步。OffQuery 的评测集与任务构造已在论文中公开,医疗与灾难响应两个场景的任务模板可以直接迁移到自己领域的评估里,替换语料即可复用整套三层结构。

Frequently asked questions

什么是 off-query 失败?
指多智能体系统在当前问题上给出了正确决策,但协作过程污染了共享信息状态——错误事实留在记忆或工作区里,等后续任务真正需要这些数据时才爆发。传统按单次问答对错计分的评测完全看不到这类失败,因为它不影响本轮输出。
OffQuery 的三个任务分别测什么?
T1 测证据核验:模型能否识别给定证据里哪些可信哪些被篡改;T2 测共享状态重建:能否把多个智能体留下的信息碎片还原成一份可信的当前世界状态;T3 测任务决策:在给定状态下能否给出正确行动。三层由深到浅,T3 最接近传统评测。
ReGround 的四个步骤是什么?
第一步消解冲突证据,判断相互矛盾的来源哪个可信;第二步核验共享事实,把要写入状态的关键事实逐一验证;第三步重建可信状态,只让通过核验的事实进入;第四步基于这份状态做推理与决策。核心思想是把「信什么」从隐式过程变成显式阶段。
实验覆盖了哪些模型和场景?
主实验覆盖 GPT、Gemini、Qwen 三家的模型,共 21 个模型与配置组合,场景选了医疗健康与灾难响应两个高风险决策支持任务。ReGround 的验证则在三大家族的 7 个模型上进行,全部场景三项能力均获提升,说明方法不依赖特定模型。
对工程团队最直接的启示是什么?
不要只按下一轮任务成败评测多智能体系统。要在任务间隙加入状态审计:检查共享记忆与工作区里的事实是否被污染。工程上可以借鉴 ReGround 的分阶段设计,把证据核验作为写入共享状态前的强制关卡,而不是靠模型推理顺带完成。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.