LLM2D
Cafca:基于少量随意捕捉的图像生成高质量逼真表情人脸的新视角合成
Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures
作者: Marcel C. B\"uhler, Gengyan Li, Erroll Wood, Leonhard Helminger, Xu Chen, Tanmay Shah, Daoye Wang, Stephan Garbin, Sergio Orts-Escolano, Otmar Hilliges, Dmitry Lagun, J\'er\'emy Riviere, Paulo Gotardo, Thabo Beeler, Abhimitra Meka, Kripasindhu Sarkar
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2410.00630v1

摘要

体积建模和神经辐射场表示彻底改变了 3D 人脸捕捉和逼真的新视角合成。然而,这些方法通常需要数百张多视角输入图像,因此不适用于输入图像少于几张的情况。我们提出了一种关于人脸的新型体积先验,它允许从野外捕获的少至三张输入视图中进行高保真表达人脸建模。我们的关键见解是,仅在合成数据上训练的隐式先验可以泛化到极具挑战性的真实世界身份和表情,并以细致的个性化细节(如皱纹和睫毛)渲染新视角。我们利用 3D 可变形人脸模型合成一个大型训练集,为每个身份渲染不同的表情、头发、服装和其他资产。然后,我们在该合成数据集上训练一个条件神经辐射场先验,并在推理时,在一个非常稀疏的单个主题真实图像集上微调模型。平均而言,微调只需要三个输入就能跨越合成到真实的域差距。最终的个性化 3D 模型重建了强烈的个性化面部表情,并且在从稀疏输入中进行高质量人脸新视角合成方面,在感知和光度质量方面都优于最先进技术。