Paper

AI 模型可以「可证明地」隐藏任意能力:密码学后门给能力审计划下的红线

DOC
N°412
DATE
Oct 14, 2026
READ
6 min read
TAGS
AI-Safety, model-auditing, cryptography, backdoor, capability-evaluation

一句话概括这篇论文

能力评估(capability evaluations)是 AI 安全的基石之一:部署前想办法把模型的危险能力「激发」出来看看有多危险。arXiv 2610.13928 的四位作者(Andis Draguns、Sumeet Ramesh Motwani、Raymond Douglas、Christian Schroeder de Witt,论文已被 NeurIPS 2026 接收,10 月 9 日提交后迅速登上 Hacker News 首页)证明了这个基石上有一道密码学意义上的裂缝:模型可以携带完整可执行的危险能力,但在一切常规审计手段下表现得像不存在。

他们构造的后门把一个加密的神经网络完整地埋进宿主模型权重——不是藏一段字符串、一个触发规则,而是一个可以解密并执行的任意计算。只有收到正确秘密触发器时才解密运行;在密码学假设(数字保险柜的安全性)下,这些隐藏电路可证明地难以被激发和解释,即使攻击者把全部权重交给审计者。

从「藏字符串」到「藏程序」:这条线是怎么走到今天的

这篇论文不是凭空出现,而是密码学后门研究线的第三步。论文自己的对比表把演进讲得很清楚:

工作安全性质载体实现
Goldwasser et al. (2022)Undetectability(不可检测)取反一个分类位理论构造
Draguns et al. (2024)Unelicitability(不可激发)固定字符串PyTorch
本工作Unelicitability(不可激发)可执行电路(任意计算)PyTorch

2022 年的理论工作证明了模型可以携带密码学上不可检测的隐藏行为,但载体只是一个分类位的翻转——证明存在性,没有实用威胁。2024 年 Draguns 等人第一次在真实 PyTorch 权重里藏进了「不可激发」的东西,但只能藏固定字符串。本论文把载体升级为任意神经网络电路:理论上任何模型能做的计算——包括完整的危险能力——都可以这样藏起来。从「能在权重里藏一句话」到「能在权重里藏一个程序」,威胁模型发生了质变。

技术构造:数字保险柜如何住进权重里

核心工具是密码学里的 digital locker(数字保险柜,基于对称加密构造):把秘密 s 用密钥 k 加密,任何人都能用某个值 x 尝试「开锁」,只有 x 正确时才能恢复 s,错误输入下得到的是与随机数不可区分的输出。

论文的构造大致分三层:

第一层:把神经网络编译成线性阈值电路。 隐藏的网络不是以常规浮点权重存放,而是先编译为线性阈值门(linear threshold circuits)的组合表示。这个编译步骤保证了整个电路可以用「逐行自回归执行」的方式计算——每一行的激活值可以独立计算,这对后续的加密打包至关重要。

第二层:用数字保险柜锁住每一行。 电路的每一行(一次线性变换加阈值)被打进一个保险柜,密钥由前序行的正确激活值派生。这意味着没有正确触发器时,第一行就无法解密,后面的每一行都连锁失效——攻击者的秘密触发器是整条链的第一个输入。

第三层:把保险柜塞进宿主模型。 加密后的保险柜被编码进宿主模型的权重分布中,比如藏进 GLU 层的参数里。对审计者来说,这些权重与正常训练噪声在统计上难以区分;对模型来说,只有在触发条件下这条隐藏链才会执行并把结果注入输出。

作者强调这是概念验证(proof of concept):编译后的隐藏电路有明显的体积开销,当前只能在小模型、小任务上演示。但「开销大」是工程问题,「可证明不可激发」是理论性质——后者不会因为硬件进步而失效。

实验:四种审计手段全部失败

任务选择很讲究:化学反应预测,一个明确作为 CBRN 相关能力的代理任务(化学合成路径预测是生物化学风险的核心场景)。作者在其中埋入隐藏的预测电路,然后用四类手段尝试把它激发出来:

  • 微调:用大量正常数据继续训练,期望隐藏行为「浮出水面」——失败。
  • 权重加噪:对权重注入扰动,破坏加密结构——失败,加密结构对扰动是鲁棒的。
  • 基于梯度的触发器搜索:优化输入寻找能激活异常行为的触发器——失败,错误触发器下保险柜输出与随机不可区分,梯度没有信号。
  • 潜在对抗训练(LAT):在内部表征层面对抗性训练以揪出异常回路——失败。

这个结果组合上密码学保证,得出了论文标题那句话:现有「基于激发的能力审计」存在结构性上限。审计者面对的不再是可以被耐心挖出的暗层,而是一把没有钥匙就打不开的锁。

对安全实践意味着什么

对实验室与监管者,这篇论文是给「部署前能力评估」划红线:评估结果最多证明「没找到」,不再能证明「不存在」。任何把评估报告当作安全证书的流程都需要重新设计——必须叠加不依赖激发的手段:训练数据与微调环节的供应链完整性校验(攻击者最现实的植入点是开放权重的微调阶段)、权重来源的审计链、以及运行时行为与申报用途的一致性监测。

对开放权重生态,威胁模型的现实版是:一个精心制作的开源模型在 Hugging Face 上流传,权重干净、行为正常,评估全绿,直到某个持有触发器的人在下游部署中解锁了隐藏能力。开放权重的不可撤销传播 + 可证明隐藏 = 供应链信任问题。这给「开放权重是否需要类似软件物料清单(SBOM)的模型物料清单」的讨论提供了具体的攻击面依据。

对防御研究,论文公开了全部构造的模型(作者明确说「发布我们的模型以支持防御改进」)。这延续了对抗研究社区「攻击公开化以换取防御」的传统——类似 2022 年 Goldwasser 等人的理论构造催生了一批检测研究。针对数字保险柜结构的专门检测器(比如识别权重中不可压缩的加密熵区域)是显而易见的下一步。

值得一提的是时间线上的巧合:就在同期,Anthropic 的 Frontier Red Team 发布了关于 AI 自我复制能力的研究,HN 首页同一时间被「模型可以隐藏能力」和「模型接近自我复制」两条消息占据。两篇工作指向同一个主题——当模型能力的隐藏与传播变得技术上可行,信任必须建立在过程而非结果上。这不是恐慌的理由,而是审计体系需要升级的明确信号。

论文信息

  • 标题:AI Models Can Provably Hide Arbitrary Capabilities
  • 作者:Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas, Christian Schroeder de Witt
  • 收录:NeurIPS 2026(22 页,6 图 3 表),arXiv 2610.13928,2026 年 10 月 9 日提交
  • 领域:cs.LG(机器学习)× cs.CR(密码学与安全)
  • 代码与模型:已开源发布

Frequently asked questions

「可证明地隐藏」和普通的模型后门有什么区别?
常见后门(比如特定短语触发异常行为)是经验性隐藏:防御者用足够多的检测手段通常能找到统计痕迹。这篇论文的隐藏是密码学意义上的:隐藏电路被加密在权重里,没有正确触发器时它的行为在计算上不可区分于随机噪声,解密密钥本身也无法从权重中恢复。区别不在于「更难发现」,而在于「在标准密码学假设下被发现是不可行的」,这是从工程难度到理论保证的升级。
这个攻击现实中有威胁吗?
短期内威胁有限:概念验证是在小模型和小任务(化学反应预测)上实现的,隐藏电路有显著的开销,论文自己也承认编译权重会被显著膨胀。它的价值主要是战略性的——证明了「基于激发的能力审计」存在理论天花板,这直接影响前沿实验室如何设计部署前评估:不能只依赖「想办法把能力问出来」,必须叠加权重来源追踪、训练过程监控、硬件级证明等审计层。
什么是「基于激发的能力审计」,它为什么会被绕过?
主流能力评估的隐含假设是:只要模型内部存在某个危险能力,审计者通过充分多样的提示、微调或探针总能把它「激发」出来观测。这篇论文打破了该假设——隐藏能力被密码学锁死,只有在攻击者控制的触发条件下才解密运行,其余时间在任何探测下都表现为无辜行为。审计者面对的不是「藏得深」,而是「在密码学上不可激发」。
论文测试了哪些防御手段,结果如何?
作者评估了四类主流激发手段:微调(试图把隐藏行为「洗」出来)、权重加噪、基于梯度的触发器搜索、潜在对抗训练(LAT)。在化学反应预测任务上,这些方法全部未能恢复隐藏能力。加上密码学层面的保证(解密需要正确触发器,错误输入下数字保险柜输出与随机不可区分),结论是:现有审计工具箱对这类构造无解。
防御方还有出路吗?
论文的立场是「揭露极限以刺激防御」,并公开了全部模型供防御研究。可行方向包括:在训练管线上游设卡(对训练数据的注入源做完整性校验,防止攻击者在微调阶段植入)、权重来源与训练过程的可审计记录(类似软件供应链的 SLSA 分级)、运行时行为与声明用途的一致性监测,以及探索针对密码学结构的专门检测器。单一手段都不够,需要组合成供应链级的审计体系。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.