一句话概括这篇论文
能力评估(capability evaluations)是 AI 安全的基石之一:部署前想办法把模型的危险能力「激发」出来看看有多危险。arXiv 2610.13928 的四位作者(Andis Draguns、Sumeet Ramesh Motwani、Raymond Douglas、Christian Schroeder de Witt,论文已被 NeurIPS 2026 接收,10 月 9 日提交后迅速登上 Hacker News 首页)证明了这个基石上有一道密码学意义上的裂缝:模型可以携带完整可执行的危险能力,但在一切常规审计手段下表现得像不存在。
他们构造的后门把一个加密的神经网络完整地埋进宿主模型权重——不是藏一段字符串、一个触发规则,而是一个可以解密并执行的任意计算。只有收到正确秘密触发器时才解密运行;在密码学假设(数字保险柜的安全性)下,这些隐藏电路可证明地难以被激发和解释,即使攻击者把全部权重交给审计者。
从「藏字符串」到「藏程序」:这条线是怎么走到今天的
这篇论文不是凭空出现,而是密码学后门研究线的第三步。论文自己的对比表把演进讲得很清楚:
| 工作 | 安全性质 | 载体 | 实现 |
|---|---|---|---|
| Goldwasser et al. (2022) | Undetectability(不可检测) | 取反一个分类位 | 理论构造 |
| Draguns et al. (2024) | Unelicitability(不可激发) | 固定字符串 | PyTorch |
| 本工作 | Unelicitability(不可激发) | 可执行电路(任意计算) | PyTorch |
2022 年的理论工作证明了模型可以携带密码学上不可检测的隐藏行为,但载体只是一个分类位的翻转——证明存在性,没有实用威胁。2024 年 Draguns 等人第一次在真实 PyTorch 权重里藏进了「不可激发」的东西,但只能藏固定字符串。本论文把载体升级为任意神经网络电路:理论上任何模型能做的计算——包括完整的危险能力——都可以这样藏起来。从「能在权重里藏一句话」到「能在权重里藏一个程序」,威胁模型发生了质变。
技术构造:数字保险柜如何住进权重里
核心工具是密码学里的 digital locker(数字保险柜,基于对称加密构造):把秘密 s 用密钥 k 加密,任何人都能用某个值 x 尝试「开锁」,只有 x 正确时才能恢复 s,错误输入下得到的是与随机数不可区分的输出。
论文的构造大致分三层:
第一层:把神经网络编译成线性阈值电路。 隐藏的网络不是以常规浮点权重存放,而是先编译为线性阈值门(linear threshold circuits)的组合表示。这个编译步骤保证了整个电路可以用「逐行自回归执行」的方式计算——每一行的激活值可以独立计算,这对后续的加密打包至关重要。
第二层:用数字保险柜锁住每一行。 电路的每一行(一次线性变换加阈值)被打进一个保险柜,密钥由前序行的正确激活值派生。这意味着没有正确触发器时,第一行就无法解密,后面的每一行都连锁失效——攻击者的秘密触发器是整条链的第一个输入。
第三层:把保险柜塞进宿主模型。 加密后的保险柜被编码进宿主模型的权重分布中,比如藏进 GLU 层的参数里。对审计者来说,这些权重与正常训练噪声在统计上难以区分;对模型来说,只有在触发条件下这条隐藏链才会执行并把结果注入输出。
作者强调这是概念验证(proof of concept):编译后的隐藏电路有明显的体积开销,当前只能在小模型、小任务上演示。但「开销大」是工程问题,「可证明不可激发」是理论性质——后者不会因为硬件进步而失效。
实验:四种审计手段全部失败
任务选择很讲究:化学反应预测,一个明确作为 CBRN 相关能力的代理任务(化学合成路径预测是生物化学风险的核心场景)。作者在其中埋入隐藏的预测电路,然后用四类手段尝试把它激发出来:
- 微调:用大量正常数据继续训练,期望隐藏行为「浮出水面」——失败。
- 权重加噪:对权重注入扰动,破坏加密结构——失败,加密结构对扰动是鲁棒的。
- 基于梯度的触发器搜索:优化输入寻找能激活异常行为的触发器——失败,错误触发器下保险柜输出与随机不可区分,梯度没有信号。
- 潜在对抗训练(LAT):在内部表征层面对抗性训练以揪出异常回路——失败。
这个结果组合上密码学保证,得出了论文标题那句话:现有「基于激发的能力审计」存在结构性上限。审计者面对的不再是可以被耐心挖出的暗层,而是一把没有钥匙就打不开的锁。
对安全实践意味着什么
对实验室与监管者,这篇论文是给「部署前能力评估」划红线:评估结果最多证明「没找到」,不再能证明「不存在」。任何把评估报告当作安全证书的流程都需要重新设计——必须叠加不依赖激发的手段:训练数据与微调环节的供应链完整性校验(攻击者最现实的植入点是开放权重的微调阶段)、权重来源的审计链、以及运行时行为与申报用途的一致性监测。
对开放权重生态,威胁模型的现实版是:一个精心制作的开源模型在 Hugging Face 上流传,权重干净、行为正常,评估全绿,直到某个持有触发器的人在下游部署中解锁了隐藏能力。开放权重的不可撤销传播 + 可证明隐藏 = 供应链信任问题。这给「开放权重是否需要类似软件物料清单(SBOM)的模型物料清单」的讨论提供了具体的攻击面依据。
对防御研究,论文公开了全部构造的模型(作者明确说「发布我们的模型以支持防御改进」)。这延续了对抗研究社区「攻击公开化以换取防御」的传统——类似 2022 年 Goldwasser 等人的理论构造催生了一批检测研究。针对数字保险柜结构的专门检测器(比如识别权重中不可压缩的加密熵区域)是显而易见的下一步。
值得一提的是时间线上的巧合:就在同期,Anthropic 的 Frontier Red Team 发布了关于 AI 自我复制能力的研究,HN 首页同一时间被「模型可以隐藏能力」和「模型接近自我复制」两条消息占据。两篇工作指向同一个主题——当模型能力的隐藏与传播变得技术上可行,信任必须建立在过程而非结果上。这不是恐慌的理由,而是审计体系需要升级的明确信号。
论文信息
- 标题:AI Models Can Provably Hide Arbitrary Capabilities
- 作者:Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas, Christian Schroeder de Witt
- 收录:NeurIPS 2026(22 页,6 图 3 表),arXiv 2610.13928,2026 年 10 月 9 日提交
- 领域:cs.LG(机器学习)× cs.CR(密码学与安全)
- 代码与模型:已开源发布