arXiv:2504.14509v3 公告类型: 替换交叉 摘要：在本文中，我们介绍了DreamID，一个基于扩散的面部交换模型，实现了高水平的身份相似度、属性保留、图像保真度以及快速推理速度。与传统的面部交换训练过程不同，后者往往依赖于隐式监督并且难以达到满意的结果。DreamID 通过构建三元组身份组数据，建立了显式监督，显著提高了身份相似度和属性保留。扩散模型的迭代性在利用高效的图像空间损失函数方面带来了挑战，因为在训练过程中进行耗时的多步采样以获得生成图像是不实际的。为了解决这个问题，我们利用了加速扩散模型SD Turbo，将推理步骤减少为单次迭代，从而能够使用显式的三元组身份组监督进行高效的端到端训练。此外，我们提出了一个改进的基于扩散的模型架构，包含SwapNet、FaceNet和ID Adapter。这种稳健的架构完全释放了三元组身份组显式监督的强大功能。最后，为了进一步扩展我们的方法，在训练过程中明确修改三元组身份组数据，以微调并保留特定属性，例如眼睛和脸型。广泛实验表明，DreamID 在身份相似度、姿态和表情保留以及图像保真度等方面优于最先进的方法。总体而言，DreamID 在 512*512 分辨率下只需 0.6 秒即可实现高质量的面部交换结果，并且在复杂光照、大角度和遮挡等具有挑战性的场景中表现优异。