LLM2D
DifFRelight:基于扩散的 面部 表演重光照
DifFRelight: Diffusion-Based Facial Performance Relighting
作者: Mingming He, Pascal Clausen, Ahmet Levent Ta\c{s}el, Li Ma, Oliver Pilarski, Wenqi Xian, Laszlo Rikker, Xueming Yu, Ryan Burgert, Ning Yu, Paul Debevec
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.08188v1

摘要

我们提出了一种基于扩散的图像到图像转换的新框架,用于自由视角人脸表演重光照。利用包含在各种光照条件下(包括平光和一次一灯(OLAT)场景)捕获的各种面部表情的特定主题数据集,我们训练了一个扩散模型以实现精确的光照控制,从而能够从平光输入中生成高保真重光人脸图像。我们的框架包括对平光捕获和随机噪声的空间对齐条件,以及集成的光照信息以进行全局控制,利用来自预训练的稳定扩散模型的先验知识。然后将该模型应用于在一致的平光环境中捕获的动态人脸表演,并使用可扩展的动态 3D 高斯 splatting 方法重建以进行新视角合成,以保持重光结果的质量和一致性。此外,我们通过将新颖的面积光照表示与方向光照相结合,引入统一的光照控制,允许对光源大小和方向进行联合调整。我们还使用多个方向光源启用高动态范围成像 (HDRI) 合成,以在复杂光照条件下生成动态序列。我们的评估表明该模型在实现精确的光照控制和跨各种面部表情泛化方面效率很高,同时保留了皮肤纹理和头发等细节特征。该模型准确地再现了复杂的光照效果,如眼部反射、次表面散射、自阴影和透光性,从而在我们的框架内提升了照片真实感。