LLM2D
从图像生成图像:去噪和变换的交错方法
Making Images from Images: Interleaving Denoising and Transformation
作者: Shumeet Baluja, David Marwood, Ashwin Baluja
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15925v1

摘要

只需重新排列图像的区域,我们就能创造出任何主题的新图像。区域的定义由用户自定义,范围从规则和不规则形状的块、同心圆环,甚至单个像素。我们的方法扩展并改进了最近在生成视觉错觉方面的工作,它不仅同时学习图像的内容,还学习将所需图像相互转换所需的参量化变换。通过学习图像变换,我们允许预先指定任何源图像;任何现有图像(例如蒙娜丽莎)都可以转换为新的主题。我们将此过程表述为一个约束优化问题,并通过将图像扩散步骤与能量最小化步骤交错来解决它。与以前的方法不同,增加区域数量实际上使问题更容易并改善结果。我们在像素空间和潜在空间中都展示了我们的方法。还给出了创造性的扩展,例如使用源图像的无限副本和使用多个源图像。