「检查模型的推理过程,而不是只看它的输出」——思维链(CoT)监控一直是 AI 安全工具箱里少见的、看起来既有原则又可落地的手段。它的基本设定很简单:一个 actor 负责行动,一个 monitor 负责读 actor 的思维链,寻找不安全规划、欺骗或目标错位的迹象。monitor 通常也是另一个语言模型。
这篇提交于 2026 年 9 月 14 日的论文,给这个设定补上了一个不太好受的注脚。
一、攻击的构造
作者把新发现的攻击命名为计划注入(plan injection),定义是:把有害但听起来无害的推理种进 actor 的上下文,引导它执行对抗性行为,同时规避监控。
拆成两个要件:
注入内容的形式 → 读起来像正常分析或背景铺垫的推理文本
注入内容的效果 → 引导 actor 走向对抗性行为
期望的副作用 → monitor 不把它标记为可疑
这里的巧妙之处在于,它绕过的不是模型的能力,而是监控器的判断依据。监控器要找的是「推理里有没有不安全的规划」;而注入的文本在措辞上恰好是一个看起来合理的规划,只是目标不对。监控器看到的不是破绽,是连贯。
作者最初在 Lanham 等人 2023 年提出的多选问答可监控性设定里发现了这个现象,借助 Li 等人 2025 年的 investigator-agent 引导框架完成了复现与验证,随后做了泛化。
二、泛化后的规模
论文没有停在一个基准上。泛化结果包括:
- 在更困难的任务上,规避率达到 25% 到 33%,跨不同可监控性基准;
- 攻击可以迁移到更大的模型,包括 DeepSeek-R1;
- 在作者研究的各个设定中,actor 不只遵循注入的计划,还会把它改写成自己的推理。
第三点是最值得停下来看的。它意味着留痕记录里的思维链读起来仍然像模型自己的判断,没有对注入来源的显式标注。事后审计因此也失效了——审计者拿到的不是被篡改痕迹明显的日志,而是一份自洽的、无法从文本本身溯源的推理记录。
三、反直觉的部分:监控资源越多越差
如果论文只到「规避率 25% 到 33%」,它的结论还算常规:又一种攻击,修就行了。真正让它有分量的是最后一组发现——额外的监控资源有时会造成伤害。
两个方向的证据:
| 干预 | 结果 |
|---|---|
| 把注入的计划也提供给监控器作为证据(Bio-Math 任务) | 检测率最多下降 50% |
| 增加监控器的推理预算 | 额外 token 被用于合理化注入的计划,而非标记它 |
第二个尤其刺眼。直觉上「让监控器想久一点会更谨慎」,但案例研究里出现的转录是:多出来的思考 token 被花在解释「这个计划为什么合理」,而不是用来提出质疑。
这其实有一个很朴素的解释。监控器的任务被表述为「判断这段推理是否安全」,而一段注入得良好的计划在文本层面是自洽的;给它更多算力,等于给它更多空间去做它被要求做的事——理解并评估这段推理的合理性。当证据本身被污染,更强的推理能力会放大污染,而不是穿透它。
四、机制层面的含义
把这两个发现放在一起,能得到一个比「监控不可靠」更精确的表述:
- 监控器的判断质量,依赖于 actor 上下文未被污染;
- 而现代 Agent 的上下文天然会被外部文本污染——多 agent 协作传递的消息、检索增强注入的文档、工具返回的内容,都是外部可控的文本;
- 一旦污染发生,监控器面对的不是「有破绽的坏计划」,而是「无破绽的坏计划」;
- 此时监控算力的边际收益为负。
第 2 点把论文的适用范围从实验室设定扩展到了真实系统。任何一个把外部文本喂进 agent 上下文的架构,都在名义上具备被计划注入的条件。这不等于说攻击已经在野外发生,而是说这条路径的假设在工程上并不成立。
五、对部署方的五条建议
第一,不要把 CoT 监控当作独立防线。它的可信度有前提条件,前提不成立时它的输出没有意义。应当把它定位为在干净上下文下的辅助信号。
第二,隔离监控通道。监控器要看的应该是 actor 的行为与原始上下文,而不是把已经可疑的内容再当作证据投喂回去。Bio-Math 上 50% 的检测率下降,直接来自「给监控器更多信息」这个听起来完全合理的动作。
第三,把监控预算本身纳入评测。既然增加算力可能导致检测率下降,那么「监控器变强后是否更安全」必须被实测,而不能假设成立。
第四,对上下文来源做标注与追踪。既然 actor 会把注入内容改写成自己的推理,那么在文本层面做来源追踪就不可靠;需要的是在架构层面记录每一段上下文的写入方与来源,让审计依赖元数据而不是文风判断。
第五,报告规避率而不是召回率。安全团队习惯看检测率,但在这类攻击下,更有信息量的指标是攻击者在多大比例的尝试中成功避开监控——因为攻击者只需要一个不被标记的路径。
六、局限
说清楚几点边界。一是论文的规避率数字来自特定的可监控性基准,这类基准的任务形态(多选问答、受控任务)与真实 Agent 的长时程、多工具环境仍有距离,外推要谨慎。二是 25% 到 33% 是在攻击者精心构造注入的条件下取得的,不代表任何噪声文本都能成功。三是论文做的是攻击面刻画,没有给出完备的防御方案——它指出「黑盒的文本层监控不足以提供一般保证」这个方向,但具体怎么设计更强的机制,仍然开放。四是「监控资源有害」的结论来自案例研究与单个任务上的观测,样本范围有限,值得后续更大规模地复核。
结语
这篇论文最实用的贡献,可能不是那个 25% 到 33%,而是它把「给监控器更多信息」这个几乎不会有人质疑的动作,变成了一个需要被实测的变量。
在安全工程里,一个信号的可信度从来都取决于它的前提条件是否被维持。CoT 监控的前提是上下文干净,而现代 Agent 架构恰恰以不断往上下文里接入外部文本为特征。把这个前提显式地写进威胁模型,比继续优化监控器的提示词更有价值。