LLM2D
FabricDiffusion:基于野外服装图像的高保真纹理迁移用于3D服装生成
FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images
作者: Cheng Zhang, Yuanhao Wang, Francisco Vicente Carrasco, Chenglei Wu, Jinlong Yang, Thabo Beeler, Fernando De la Torre
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01801v1

摘要

我们介绍了 FabricDiffusion,一种将织物纹理从单张服装图像转移到任意形状的 3D 服装的方法。现有的方法通常通过 2D 到 3D 纹理映射或通过生成模型进行深度感知修复来合成服装表面的纹理。不幸的是,这些方法往往难以捕捉和保留纹理细节,尤其是在输入图像中存在遮挡、扭曲或姿势的情况下。受时尚行业中大多数服装都是通过用平坦的、可重复的纹理缝制缝纫图案来制作的这一观察的启发,我们将服装纹理转移的任务视为提取无扭曲的可平铺纹理材料,这些材料随后映射到服装的 UV 空间。基于这一见解,我们使用大规模合成数据集训练了一个去噪扩散模型来纠正输入纹理图像中的扭曲。此过程会生成一个平坦的纹理贴图,使之能够与现有的基于物理渲染 (PBR) 材料生成管道紧密耦合,从而允许在各种照明条件下对服装进行逼真的重新照明。我们证明 FabricDiffusion 可以从单张服装图像中转移各种特征,包括纹理图案、材料属性以及详细的印花和徽标。大量实验表明,我们的模型在合成数据和真实世界的野外服装图像上均显著优于最先进的方法,同时可推广到看不见的纹理和服装形状。