LLM2D
为图形草图表示装备上下文意识位置编码的草图补丁
Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation
作者: Sicong Zang, Zhijun Fang
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2403.17525v2

摘要

arXiv:2403.17525v2 宣告类型: replace-cross 摘要: 当利用素描绘制顺序来增强图形素描表示时,最近的研究通过按照基于时间的最近邻策略来根据绘制顺序将素描片段作为图边连接起来。然而,由于素描绘制的变化,这些构建的图边可能是不可靠的,因为片段之间的上下文关系可能与绘制顺序中的顺序位置不一致。在本文中,我们提出了一种保护变体绘制的方法,通过为素描片段配备上下文感知的位置编码 (PE) 来更好地利用绘制顺序来进行素描学习。我们引入了正弦绝对 PE 来嵌入绘制顺序中的顺序位置,并引入了可学习的相对 PE 来编码片段之间未见过的上下文关系。这两种类型的 PE 从不参与图边的构建,而是注入到图节点中,与从片段捕获的视觉模式合作。通过语义邻近度连接节点后,在通过图卷积网络进行消息聚合时,每个节点从其邻居处接收来自片段的语义特征和来自 PEs 的上下文信息,从而赋予局部片段模式全球上下文信息,进一步获得绘制顺序增强的素描表示。实验结果表明,我们的方法显着提高了素描修复和可控素描合成。源代码可以在 https://github.com/SCZang/DC-gra2seq 查找。