摘要
视频驱动的三维面部动画迁移旨在驱动虚拟化身复制演员的表情。现有方法通过约束几何和感知一致性取得了显著成果。然而,几何约束(例如对面部标志点设计的约束)不足以捕捉细微的情绪,而基于分类任务训练的表情特征缺乏对复杂情绪的细粒度表达。为了解决这个问题,我们提出了**FreeAvatar**,这是一种仅依赖我们学习到的表情表示的鲁棒性面部动画迁移方法。具体来说,FreeAvatar 包含两个主要组件:表情基础模型和面部动画迁移模型。在第一个组件中,我们首先通过面部重建任务构建面部特征空间,然后通过探索不同表情之间的相似性来优化表情特征空间。得益于在大量未标记的面部图像和重新收集的表情比较数据集上进行训练,我们的模型能够自由有效地适应任何野外输入的面部图像。在面部动画迁移组件中,我们提出了一种新颖的表达驱动多化身动画器,它首先将表达语义映射到三维化身的的面部控制参数,然后在输入和输出图像之间施加感知约束以保持表情一致性。为了使整个过程可微,我们采用经过训练的神经渲染器将装备参数转换为相应的图像。此外,与之前需要为每个化身单独解码器的的方法不同,我们提出了一种动态身份注入模块,允许在单个网络中联合训练多个化身。