arXiv:2412.06143v2 宣告类型：替换-交叉 摘要：由扩散模型支持的文本到图像（T2I）生成及其不断增加的实际应用导致了迫切需要从预训练模型中精确、及时且低成本地消除不需要的概念，例如版权、冒犯性和不安全的内容。概念消除的需求包括两个方面：不仅需要精确去除目标概念（即消除效果），而且需要在生成过程中对非目标内容进行最小程度的改变（即先验保留）。现有的方法在保持消除效果和先验保留之间有效的平衡方面存在挑战，并且可能计算成本高昂。为了改进，我们提出了一种无需训练的精确、快速且低成本的概念消除方法，名为自适应价值分解器（AdaVD）。我们的方法基于在扩散模型的UNet内的每个交叉注意力层的价值空间中计算正交补的经典线性代数操作。我们设计了一个偏移因子以自适应地导航消除强度，从而在不牺牲消除效果的情况下增强有效的先验保留。与基于训练和无需训练的最新方法的广泛比较实验表明，提出的AdaVD在单个和多个概念消除方面都表现出色，与第二好的方法相比，在先验保留方面提高了2到10倍，同时实现最佳或接近最佳的消除效果。AdaVD支持一系列扩散模型和下游图像生成任务，代码可在以下地址获得：https://github.com/WYuan1001/AdaVD。