摘要
arXiv:2407.05712v3 Announce Type: replace-cross
摘要:现有的神经头像方法在肖像动画的画质和动作范围方面取得了显著进展。然而,这些方法忽略了计算开销,并且据我们所知,没有一种方法是设计用于在移动设备上运行的。本文介绍了MobilePortrait,一种轻量级的一次性神经头像方法,通过将外部知识整合到动作建模和图像合成中,减少学习复杂性,从而在移动设备上实现实时推理。具体而言,我们引入了一种显性关键点和隐式关键点的混合表示,以实现精确的动作建模,并使用预计算的视觉特征来增强前景和背景的合成。借助这两种关键设计,并使用简单的U-Nets作为骨干网络,我们的方法在计算需求上少于十分之一,并且已在移动设备上验证可达到超过100 FPS的速度,并支持视频和音频驱动的输入。