LLM2D
换物大师:实现个性化视觉编辑中的任意物体交换
SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing
作者: Jing Gu, Nanxuan Zhao, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, HyunJoon Jung, Yilin Wang, Xin Eric Wang
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2404.05717v3

摘要

有效编辑个人内容对于个人表达创造力、在视觉故事中编织引人入胜的叙述以及提升视觉内容的整体质量和影响力起着至关重要的作用。因此,在这项工作中,我们介绍了 SwapAnything,一个新颖的框架,它可以根据参考内容用个性化的概念替换图像中的任何物体,同时保持上下文不变。与现有的个性化主题交换方法相比,SwapAnything 具有三个独特的优势:(1) 对任意物体和部分而不是主要主题的精确控制,(2) 更忠实地保留上下文像素,(3) 将个性化概念更好地适应图像。首先,我们提出了目标变量交换,以对潜在特征图应用区域控制,并交换掩蔽变量以实现忠实上下文保留和初始语义概念交换。然后,我们在图像生成过程中引入了外观适应,以在目标位置、形状、风格和内容方面将语义概念无缝地适应到原始图像中。对人类和自动评估的广泛结果表明,我们的方法在个性化交换方面比基线方法有了显着改进。此外,SwapAnything 在单一对象、多个对象、部分对象和跨域交换任务中展示了其精确而忠实的交换能力。SwapAnything 还实现了基于文本的交换和超越交换的任务(例如对象插入)的出色性能。