LLM2D
mining 你自己的秘密:扩散分类器评分在文本到图像扩散模型的持续个性化中的应用
Mining Your Own Secrets: Diffusion Classifier Scores for Continual Personalization of Text-to-Image Diffusion Models
作者: Saurav Jha, Shiqi Yang, Masato Ishii, Mengjie Zhao, Christian Simon, Muhammad Jehanzeb Mirza, Dong Gong, Lina Yao, Shusuke Takahashi, Yuki Mitsufuji
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2410.00700v3

摘要

arXiv:2410.00700v3 公告类型:替换-交叉 摘要:个性化文字到图像扩散模型因其能够高效地从用户定义的文字描述和少量图像中获取新概念而越来越受欢迎。然而,在现实世界中,用户可能希望一次仅个性化一个模型的多个概念,但由于存储/隐私问题,用户可能无法访问先前概念的数据。在面对这种持续学习(CL)的设置时,大多数个性化方法无法在获取新概念与保留先前概念之间找到平衡——这就是持续个性化(CP)要解决的挑战。受到依赖特定类别信息的持续学习方法的启发,我们利用固有的类别条件密度估计,即扩散分类器(DC)分数,对文字到图像扩散模型进行持续个性化。具体而言,我们建议使用DC分数对参数空间和函数空间进行正则化,以实现持续个性化。通过使用多种不同的评估设置、数据集和指标,我们展示了我们提出的基于正则化的持续个性化方法优于目前最先进的人C-LoRA和其他基线方法。最后,通过在无重放的持续学习设置和低秩适配器上操作,我们的方法分别在状态最先进方法上具有零存储开销和参数开销。我们的项目页面:https://srvcodes.github.io/continual_personalization/