摘要
个性化文本到图像扩散模型因其能够从用户定义的文本描述和少量图像中高效地学习新概念而广受欢迎。然而,在现实世界中,用户可能希望一次个性化模型多个概念,但由于存储/隐私问题,无法访问先前概念的数据。当面临这种持续学习 (CL) 设置时,大多数个性化方法无法在学习新概念和保留先前概念之间取得平衡,而持续个性化 (CP) 旨在解决这一挑战。受依赖于特定类别信息的正则化的成功 CL 方法的启发,我们将类别条件密度估计(也称为扩散分类器 (DC) 分数)用于文本到图像扩散模型的持续个性化。具体而言,我们建议使用 DC 分数来正则化文本到图像扩散模型的参数空间和函数空间,以实现持续个性化。使用多种不同的评估设置、数据集和指标,我们证明了我们提出的基于正则化的 CP 方法优于最先进的 C-LoRA 和其他基线。最后,通过在无重放 CL 设置和低秩适配器上运行,我们的方法分别在存储和参数方面相对于最先进技术没有额外开销。