arXiv:2502.01101v2 更新类型: replace-cross 摘要：随着生成式人工智能的进步，先前的研究已经实现了从手绘草图生成美观图像的任务，满足了公众的绘图需求。然而，这些方法仅限于生成静态图像，缺乏使用手绘草图控制视频动画生成的能力。为了解决这一问题，我们提出了VidSketch，这是第一个能够直接从任意数量的手绘草图和简单的文本提示生成高质量视频动画的方法，从而弥合了普通用户与专业艺术家之间的差距。具体而言，我们的方法引入了一种基于层次的草图控制策略，以在生成过程中自动调整草图的指导强度，以适应不同绘画技能的用户。此外，设计了一种时空注意力机制，以增强生成视频动画的时空一致性，显著提高了帧间的一致性。您可以在我们的官方网站上找到更多详细案例。