LLM2D
基于扩散模型的高保真服装重建的虚拟试穿:TryOffDiff
TryOffDiff: Virtual-Try-Off via High-Fidelity Garment Reconstruction using Diffusion Models
作者: Riza Velioglu, Petra Bevandic, Robin Chan, Barbara Hammer
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18350v1

摘要

本文介绍了一种名为虚拟试穿(VTOFF)的新任务,该任务专注于从穿着者的单张照片生成标准化的服装图像。与传统的虚拟试穿(VTON)——它对模型进行数字着装——不同,VTOFF的目标是提取规范的服装图像,这在捕捉服装的形状、纹理和复杂图案方面带来了独特的挑战。这一明确定义的目标使VTOFF特别有效地评估生成模型的重建保真度。我们提出了TryOffDiff模型,该模型利用基于SigLIP的视觉条件调整Stable Diffusion,以确保高保真度和细节保留。在修改后的VITON-HD数据集上的实验表明,与基于姿态转移和虚拟试穿的基线方法相比,我们的方法在预处理和后处理步骤更少的情况下,性能优越。我们的分析表明,传统的图像生成指标不足以评估重建质量,这促使我们依赖DISTS进行更准确的评估。我们的结果突出了VTOFF在增强电子商务应用中的产品图像、推进生成模型评估以及启发未来高保真重建工作的潜力。演示、代码和模型可在以下网址获取:https://rizavelioglu.github.io/tryoffdiff/