摘要
本研究提出了一种理论驱动的视觉叙事生成系统,它将概念性原则(漫画创作惯例)与生成模型和语言模型相结合,以增强漫画创作过程。我们的系统将人类的创造力与 AI 模型相结合,以支持生成过程的各个部分,为创作漫画内容提供一个协作平台。这些漫画创作惯例源于先前由人类创建的图像序列,作为制作和完善故事讲述的指南。该系统将这些原则转换为系统层,通过顺序决策促进漫画创作,解决叙事元素,如面板构成、故事张力变化和面板过渡。主要贡献包括将机器学习模型集成到人机协作漫画生成过程中,将抽象的叙事理论部署到 AI 驱动的漫画创作中,以及一个用于叙事驱动图像序列的自定义工具。这种方法改善了生成图像序列中的叙事元素,并在 AI 生成漫画过程中激发了人类的创造力。我们在 https://github.com/RimiChen/Collaborative_Comic_Generation 上开源了代码。