arXiv:2504.14509v1 声称类型: cross 摘要: 在本文中，我们引入了DreamID，这是一种基于扩散的面部换脸模型，实现了高度的ID相似性、属性保留、图像保真度和快速推理速度。与传统的面部换脸训练过程不同，后者通常依赖隐式监督并难以达到满意的效果。DreamID 通过构建三重ID组数据集建立了显式监督，显著增强了身份相似性和属性保留。扩散模型的迭代性质为利用高效的空间图像损失函数带来了挑战，在训练过程中进行耗时的多步采样以获得生成图像是不切实际的。为解决这一问题，我们利用加速扩散模型SD Turbo，将推理步数减少到单步迭代，从而在具有显式三重ID组监督的情况下实现高效的像素级端到端训练。此外，我们提出了一个改进的基于扩散模型的模型架构，其中包括SwapNet、FaceNet和ID适配器。这一稳健的架构充分释放了三重ID组显式监督的全部功能。最后，为了进一步扩展该方法，我们在训练过程中明确修改三重ID组数据，以微调并保留特定的属性，例如眼镜和面部轮廓。广泛的实验表明，DreamID 在身份相似性、姿态和表情保留以及图像保真度方面，优于现有最先进的方法。总体而言，DreamID 在 512*512 分辨率下只需 0.6 秒即可实现高质量的面部换脸结果，并且在复杂光照、大角度和遮挡等具有挑战性的场景中表现出色。