LLM2D
SG-Tailor:场景图操作中的跨对象常识关系推理
SG-Tailor: Inter-Object Commonsense Relationship Reasoning for Scene Graph Manipulation
作者: Haoliang Shang, Hanyu Wu, Guangyao Zhai, Boyang Sun, Fangjinhua Wang, Federico Tombari, Marc Pollefeys
发布日期: 3/26/2025
arXiv ID: oai:arXiv.org:2503.18988v1

摘要

arXiv:2503.18988v1 类型:cross 摘要:场景图捕捉对象间的复杂关系,充当内容生成和操控的强大先验。然而,合理地操纵场景图——无论是添加节点还是修改边——仍然是一项具有挑战性和尚未解决的任务。任务如向图中添加节点或推断节点与其他节点的关系都是计算上不可行的,即使是单个边的修改也可能由于图内的复杂相互依赖性而导致冲突。为了解决这些挑战,我们引入了SG-Tailor,这是一种自回归模型,用于预测任何两个节点之间的无冲突关系。SG-Tailor不仅推断对象之间的关系,包括为新添加的节点生成常识边,还能解决由于边修改而产生的冲突,以生成连贯且被操纵的图以供下游任务使用。对于节点添加,模型从图中查询目标节点和其他节点来预测适当的关系。对于边修改,SG-Tailor采用剪切和缝合策略解决冲突并全局调整图。广泛的经验表明,SG-Tailor在性能上大幅超过了竞争方法,并且可以无缝集成为场景生成和机器人操作任务的插件模块。