ICLR 2026 接收论文 Continual Unlearning for Text-to-Image Diffusion Models: A Regularization Perspective（arXiv 2511.07970）来自 Ohio State、Michigan State、Texas A&M 与 Boston University 的联合团队。这是第一篇系统研究文生图扩散模型「连续遗忘」的工作：当删除请求一个接一个到达，而不是一次性打包出现时，主流遗忘方法会发生什么。答案相当残酷——遗忘本身很成功，但模型会被一步步推向报废。
TL;DR：论文首次系统评测扩散模型在连续遗忘场景下的表现：ConAbl、SculpMem 等流行方法顺序处理多个删除请求时，遗忘准确率依然很高，但生成能力急剧退化，遗忘 12 个概念后几乎无法产出有意义图像。作者将根因诊断为累积参数漂移，提出范数约束、选择性微调、模型合并三类即插即用正则化器，并用语义感知的梯度投影进一步保护与目标概念相邻的能力。
遗忘请求从来不会一次到齐
Stable Diffusion 这类文生图扩散模型在互联网规模数据上训练，不可避免地学会了不该学的东西：暴力内容、受版权保护的艺术风格、特定人物的面孔。在监管与伦理压力下，机器遗忘成为热门方向——不重训整个模型，而是定向移除某些生成能力。
主流方法如 Concept Ablation（ConAbl）把要遗忘的概念映射到一个良性「锚点」概念上，让模型用锚点表示覆盖目标表示；SculpMem 进一步用动态 mask 改进这一思路。这类方法在单个或一批同时处理的概念上效果不错。
但它们共享一个不现实的假设：所有删除请求同时到达、一次处理。现实中请求是顺序来的——某天一位家长要求移除暴力概念，几周后一位艺术家要求排除自己的版权作品，再之后监管新规又要求下架某类内容。每次新请求到达时，模型都已经在之前请求的基础上被修改过了。
论文把这种场景形式化为连续遗忘（Continual Unlearning，CU），并给出三个硬性要求：
- 有效擦除新到达的目标概念
- 保持之前所有遗忘成果，不被「回忆」回来
- 保留全部无关的生成能力
CU 在 LLM 领域已有初步研究，但在图像生成领域基本空白。这篇论文用系统实证研究填补了这个缺口，并基于 UnlearnCanvas 构建了连续遗忘基准。
诊断：崩塌的根因是累积参数漂移
崩塌现场：遗忘成功了，模型废了
评测基准基于 UnlearnCanvas：一个在 60 种艺术风格与 20 个物体类别上微调的 Stable Diffusion 检查点，配备专用识别分类器，全部 80 个概念的生成准确率超过 98% top-1——这保证了后续崩塌不是模型本身能力的问题。论文构造两种遗忘序列：连续遗忘 12 个随机艺术风格，或连续遗忘 12 个随机物体；另留出 12 个风格与 8 个物体作为保留评测集。
指标有三个：UA（遗忘准确率，被删概念是否确实生成不出来）、RA-I（域内保留，比如删了「卡通风」后其他风格还正不正常）、RA-C（跨域保留，比如删了风格之后物体还画不画得出）。
结果很戏剧化。ConAbl 和 SculpMem 在第一个请求上表现都很好，但从第二个、第三个请求开始，UA 依然维持高位，RA-I 和 RA-C 却断崖式下跌。到第 12 个概念遗忘完成时，模型已经无法生成有意义的内容——论文配图里，无论 prompt 是什么，产出都是无法辨认的乱码图像。
对照组同样关键：同时策略（每次新请求到达时，从预训练权重出发，把所有历史概念联合重遗忘一遍）能较好保住生成质量，但训练成本随请求数线性增长——每来一个新请求都要从头重做一遍，工程上不可持续。这种效率与效用的两难，正是连续遗忘方法要解决的核心矛盾。
理论解释：参数离预训练权重越来越远
作者的核心假设是：高保留率要求约束参数漂移。
理论工具是从持续学习借来的损失近似框架：对保留集上的损失 L 在预训练权重 θ† 附近做 Taylor 展开，得到损失变化量的上界——一阶项是梯度范数乘参数距离，二阶项是 Hessian 范数乘参数距离的平方。作者实测估计了 Hessian 系数，发现数值极小，说明保留损失处于一个光滑的盆地中，参数更新范数就是主导因素。
直观地说：预训练权重编码了模型的原始生成能力，遗忘后的模型离它越远，丢掉的能力就越多。而顺序遗忘恰恰在系统性地把模型推离这个盆地。论文的热力图显示，顺序遗忘模型的累积 ℓ2 参数漂移远大于同时遗忘或独立遗忘。
一个控制变量实验更说明问题：对两种策略都做 early stopping（达到 99% 遗忘准确率即停），把优化步数拉到完全相同（6 个概念后各约 2100 步），顺序遗忘的漂移依然显著更大。这不是「练得多」的副作用，而是顺序遗忘的内在属性。
缓解方案：三类即插即用正则化器
论文的定位很克制：不提出全新的连续遗忘算法，而是开发与现有方法兼容的增强件。三条路线分别对应「怎么定义漂移」和「怎么施加约束」的不同选择。
范数约束与选择性微调
第一条最直接：在第 n 次请求时，给遗忘损失加上正则项 λ·‖θ − θ_{n-1}‖_p^p，惩罚相对上一个已遗忘检查点的参数偏移。L1 范数鼓励稀疏更新，L2 范数把更新摊薄到所有参数上，防止单个权重漂得太远。
第二条是选择性微调（SelFT）：用一阶 Taylor 近似给每个参数计算重要性 |∇L·θ[d]|，只更新最重要的 top-k% 参数，其余全部冻结。通过显式限制可动参数的总量来约束漂移，同时不影响概念移除的有效性。
模型合并：整体效果最强的一条路
第三条是模型合并（Model Merge），也是实验中整体保留效果最好的方案。逻辑很漂亮：既然独立遗忘（每个概念都从预训练权重出发单独遗忘）的模型天然贴近预训练权重、位于同一个损失盆地，那就不该让第二个请求在第一个请求的结果上继续叠加，而是让每个概念独立遗忘，再把 n 个模型合并起来。
具体采用 TIES-Merging：每个独立遗忘模型先做剪枝，只保留相对预训练权重偏差最大的 top-k% 参数，然后对剪枝后的模型做平均。合并后的模型落在剪枝模型的仿射壳内，参数更新被限制在这批模型张成的子空间里——合并操作本身就是一种正则化。
实验中，模型合并带来最强的整体保留，跨域保留（RA-C）的提升尤其明显。
语义感知：梯度投影保护近邻概念
域内保留才是真正的难点
所有正则化器都有一个共同短板：RA-C 改善明显，RA-I 依然困难。直觉上合理——「熊」和「猫」都是动物，「卡通风」和「梵高风」都是风格，语义近邻天然更容易被误伤。论文量化验证了这一点：遗忘「抽象主义」风格时，其他风格的保留准确率与它们到「抽象主义」的文本嵌入余弦相似度呈强负相关——越相似的概念越保不住。
干扰源头在交叉注意力的投影矩阵
机制上，prompt token 通过可学习的投影矩阵 W_K 和 W_V 映射成 key/value，供潜状态检索。遗忘一个概念 c*，本质是更新这两个矩阵，让 E(c*) 被映射到远离原位的地方。问题在于线性投影近似保持邻域结构：‖AE(c) − AE(c*)‖ ≤ ‖A‖·‖E(c) − E(c*)‖。要推开 c*，就不可避免连带着扭曲它语义上的邻居。实测也确认：文本嵌入相似度越高的概念，其 (k, v) 向量的扰动越大。
投影掉干扰分量
解法是梯度投影。用 LLM 生成 M 个与目标概念语义相关、但应当保留的「辅助概念」，按文本嵌入相似度过滤后组成嵌入矩阵 C。对 W_K 和 W_V 计算遗忘梯度后，把落在 span(C) 子空间内的分量投影掉：
g' = (I − P_S)·g*，其中 P_S = C(CᵀC)⁻¹Cᵀ
论文证明了一阶不变性（Lemma 7.1）：对子空间 span(C) 内的任何概念，这个更新方向产生的一阶变化严格为零。也就是说，遗忘梯度中的「误伤分量」被精确剥离，只留下对遗忘目标有效、对语义近邻无害的部分。值得强调的是，这个过程不需要访问保留集。
效果上，梯度投影在风格和物体两种设置下都拿到最高的 RA-I；物体遗忘场景下 RA-C 略低于 SelFT 和模型合并，但它与三类正则化器完全兼容，组合使用时 UA、RA-I、RA-C 三者的调和平均还能进一步抬升。
实验结果：关键数据一览
把散落各节的关键证据集中列一下：
- 基础能力：UnlearnCanvas 检查点在 60 风格 + 20 物体上生成准确率超过 98% top-1，排除模型自身能力问题
- 崩塌规模：基线方法顺序遗忘 12 个概念后模型失效，无法生成有意义内容
- 崩塌模式：UA 全程维持高位，RA-I 与 RA-C 断崖下跌——遗忘「成功」与模型「报废」同时发生
- 成本对比：同时策略保留效果最好，但训练时间随请求总数线性增长
- 漂移证据：控制优化步数相同（6 个概念后各约 2100 步）后，顺序遗忘的参数漂移仍显著大于同时遗忘
- 语义相关性：域内保留准确率与文本嵌入余弦相似度强负相关；
W_K、W_V的扰动与相似度强正相关
泛化性方面，附录补充了两组扩展实验：名人身份遗忘（6 个名人的顺序序列，用 GIPHY 分类器评测，外加 MS-COCO 5000 张图的 FID 与 CLIP Score 衡量整体生成质量），以及在 SDXL 架构上用 ESD 方法复现核心发现——结论方向一致。
论文第 8 节还有三个值得单独一提的洞察：
- 遗忘即学习。ConAbl 这类锚点方法的参数更新主要由锚点概念驱动，而不是被删目标本身——不同目标映射到同一锚点时，更新高度相关。遗忘其实是「用锚点表示覆盖目标表示」的表示替换操作。
- 概念擦除是全有或全无的。在预训练模型与遗忘模型之间做权重插值，生成结果会在一个临界阈值处突然跳变，而不是平滑渐变。这给模型合并的插值系数选择带来实质困难：每个概念的阈值不同，必须保证每一个都过线。
- 参数漂移是顺序遗忘的内在属性，与优化步数多寡无关。
工程意义与局限
工程意义
第一，合规流水线不能外推一次性遗忘的结论。生产环境的文生图服务会持续收到删除请求——版权方、隐私主体、监管机构。这篇论文证明「每次都成功遗忘」和「模型仍然可用」可以完全脱节。上线遗忘能力之前，必须在连续多请求场景下做回归测试，而不是只测单批删除。
第二，模型合并给出了一条低成本、可并行、可审计的架构。每个请求都从同一个预训练权重独立遗忘，天然并行；每个概念对应一个独立模型与一段独立记录，审计追溯清晰；合并远比重训便宜。配合「概念擦除有临界阈值」的发现，插值系数要为每个概念保守选择，宁可过线不可欠拟合。
第三，即插即用意味着迁移成本低。三类正则化器和梯度投影都不改遗忘方法本体，直接套在现有 ConAbl、SculpMem、ESD 管线上即可。对已有遗忘能力的团队，这是增量改造而不是推倒重来。
第四，语义影响评估应该进入删除请求的标准流程。删除「某画家风格」之前，先用文本嵌入相似度扫描一遍会受波及的近邻概念，比事后发现误伤再补救便宜得多。
局限与未解问题
- 域内保留仍是硬骨头：即使全套正则化器加上梯度投影，RA-I 仍可能出现急剧下降，语义近邻的误伤没有被根治
- 擦除阈值效应让模型合并的系数选择变成多约束调参问题，概念数增多后可能顾此失彼
- 模型合并需要为每个概念维护独立遗忘模型；虽然剪枝后只有 top-k% 参数非零、可以只存稀疏增量，但存储与管理成本仍随请求数增长
- 对抗恢复攻击的鲁棒性如何随遗忘步数演化，论文未覆盖——而安全合规场景恰恰最关心这一点
- 实验限于扩散式图像生成（Stable Diffusion、SDXL）；DiT 架构、flow matching 训练目标、视频与语音模态上的行为仍是未知数
结语
这篇论文的价值不在于某个单点技巧，而在于它把一个被整个领域默认跳过的场景摆上了台面：删除请求是流式的，而现有遗忘方法是为批式请求设计的。诊断部分（累积参数漂移 + Taylor 上界）给出了清晰的问题框架，方案部分（三类正则化器 + 梯度投影）全部走兼容路线，任何现有方法都能直接受益。
对做 AI 安全与合规的工程师来说，最实际的行动项有两个：一是把连续遗忘场景加入遗忘管线的评测集，别让「单次遗忘有效」的结论误导上线决策；二是认真评估模型合并架构——它是目前效果与成本平衡最好的方案，但要为每个概念的擦除阈值留出安全边际。
论文作者自己划出的下一步也值得跟踪：设计原生顺序的遗忘方法，让它能预见未来请求并预判请求之间的交互，而不是被动挨打。连续遗忘这个方向刚开题，文生图模型的合规部署会持续需要它。