arXiv:2407.05712v2 通知类型: replace-cross 摘要：现有的神经头像方法在肖像动画的质量和运动范围方面取得了显著进展。然而，这些方法忽略了计算开销，并且据我们所知，没有任何一种方法是设计来在移动设备上运行的。本文提出了一种轻量级的一次性神经头像方法——MobilePortrait，通过将外部知识整合到运动建模和图像合成中，降低了学习复杂度，使得在移动设备上进行实时推理成为可能。具体而言，我们引入了一种显式关键点和隐式关键点的混合表示法，以实现精确的运动建模，并使用预先计算的视觉特征来增强前景和背景的合成。借助这两种关键设计并采用简单的U-Nets作为骨干网络，我们的方法在计算需求方面仅为现有方法的十分之一，验证结果显示其在移动设备上的速度超过100 FPS，并支持视频和音频驱动的输入。