摘要
体积建模和神经辐射场表示彻底改变了 3D 人脸捕捉和逼真的新视角合成。然而,这些方法通常需要数百张多视角输入图像,因此不适用于输入图像少于几张的情况。我们提出了一种关于人脸的新型体积先验,它允许从野外捕获的少至三张输入视图中进行高保真表达人脸建模。我们的关键见解是,仅在合成数据上训练的隐式先验可以泛化到极具挑战性的真实世界身份和表情,并以细致的个性化细节(如皱纹和睫毛)渲染新视角。我们利用 3D 可变形人脸模型合成一个大型训练集,为每个身份渲染不同的表情、头发、服装和其他资产。然后,我们在该合成数据集上训练一个条件神经辐射场先验,并在推理时,在一个非常稀疏的单个主题真实图像集上微调模型。平均而言,微调只需要三个输入就能跨越合成到真实的域差距。最终的个性化 3D 模型重建了强烈的个性化面部表情,并且在从稀疏输入中进行高质量人脸新视角合成方面,在感知和光度质量方面都优于最先进技术。