摘要
arXiv:2504.08959v1 Announce Type: cross
摘要:生成性蒙罩变压器在各种内容生成任务中已经证明了其卓越的成功,主要归功于它们能够高效地建模大规模数据集分布,保持高度的一致性。然而,在动画领域,大规模数据集并不总是可用的。将生成性蒙罩建模应用于从单个MoCap参考生成多样性实例可能会导致过拟合,这是一个尚未解决的挑战。在本文中,我们提出了MotionDreamer,一种设计用于从具有任意拓扑和持续时间的给定运动中学习局部运动模式的局部蒙罩建模范式。通过使用新颖的分布正则化方法将给定的运动嵌入量化token中,MotionDreamer构建了一个稳健且富有信息性的代码本,用于局部运动模式。此外,我们引入了滑动窗口局部注意力机制,在蒙罩变压器中,这使得能够生成自然且多样化的动画,这些动画与参考运动模式高度相似。通过全面的实验展示,MotionDreamer在贴切性和多样性方面均超过了典型的基于GAN或扩散的方法。得益于以量化为基础的方法的稳定性和稳健性,MotionDreamer还可以有效执行下游任务,如时间运动编辑、\textcolor{update}{人群动画}和节奏对齐的舞蹈生成,所有这些任务都可以使用一个参考运动。访问我们的项目页面:https://motiondreamer.github.io/