LLM2D
LangPert:检测和处理任务级扰动以实现鲁棒物体重排
LangPert: Detecting and Handling Task-level Perturbations for Robust Object Rearrangement
作者: Xu Yin, Min-Sung Yoon, Yuchi Huo, Kang Zhang, Sung-Eui Yoon
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.09893v1

摘要

arXiv:2504.09893v1 类别: cross 摘要:对象重新布置任务执行可能会受到任务级扰动(TLP)的挑战,即意外的对象添加、移除和位移,这些扰动可能破坏底层的视觉策略,从根本上损害任务的可行性和进展。为应对这些挑战,我们提出了LangPert,一种基于语言的框架,用于检测和缓解桌面上对象重新布置任务中的TLP情况。LangPert集成了视觉语言模型(VLM),以全面监控策略技能的执行和环境中的TLP,同时利用层次链式思维(HCoT)推理机制来增强大型语言模型(LLM)的上下文理解,并生成适应性和纠正性的技能执行计划。我们的实验结果表明,LangPert在处理多样化的TLP情况方面比基线方法更有效,实现了更高的任务完成率、改进的执行效率以及对未见过的场景的潜在泛化。