LLM2D
DreamCache:基于特征缓存的免微调轻量级个性化图像生成
DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching
作者: Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.17786v1

摘要

个性化图像生成需要能够捕捉参考对象核心特征的文本到图像生成模型,以便在不同的语境下进行可控生成。现有的方法面临着训练要求复杂、推理成本高、灵活性有限或这些问题的组合等挑战。本文介绍了 DreamCache,这是一种用于高效高质量个性化图像生成的可扩展方法。通过缓存预训练扩散去噪器子集层和单个时间步长的少量参考图像特征,DreamCache 能够通过轻量级的训练调节适配器动态调节生成的图像特征。DreamCache 达到了最先进的图像和文本对齐效果,使用的额外参数数量减少了一个数量级,并且比现有模型更有效率和更通用。