LLM2D
CoProSketch:可控渐进素描生成模型
CoProSketch: Controllable and Progressive Sketch Generation with Diffusion Model
作者: Ruohao Zhan, Yijin Li, Yisheng He, Shuo Chen, Yichen Shen, Xinyu Chen, Zilong Dong, Zhaoyang Huang, Guofeng Zhang
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2504.08259v1

摘要

arXiv:2504.08259v1 交叉类型: cross 摘要:草图作为艺术创作的基本蓝图,因为对绘画艺术家来说,草图编辑比像素级别的RGB图像编辑更容易且更直观,尽管生成模型取得了进展,但草图生成仍未被探索。我们提出了一种新的框架CoProSketch,利用扩散模型提供出色的控制能力和细节处理能力。一种简单的方法是使用二值化草图图像微调预训练的图像生成扩散模型。然而,我们发现扩散模型无法生成清晰的二值图像,这使得生成的草图变得杂乱无章。因此,我们提出使用无符号距离场(UDF)表示草图,UDF是连续的,可以通过轻量级网络轻松解码为草图。借助CoProSketch,用户可以从边界框和文本提示生成一个粗略的草图。这个粗略的草图可以手动编辑并反馈给模型进行迭代细化,最终将被解码为详细的草图。此外,我们还整理了第一个大规模的文本-草图配对数据集作为训练数据。实验结果显示了在基线方法上更优越的语义一致性和可控性,提供了一种将用户反馈整合到生成工作流中的实用解决方案。