LLM2D
跨模态可供性迁移:通过学习可供性等价关系
Cross-Embodied Affordance Transfer through Learning Affordance Equivalences
作者: Hakan Aktas, Yukie Nagai, Minoru Asada, Matteo Saveriano, Erhan Oztop, Emre Ugur
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2404.15648v2

摘要

affordances 代表了物体在给定情境下对代理人提供的固有影响和行动可能性。从理论角度来看,affordances 弥合了影响和行动之间的差距,提供了对代理人行动与其环境之间联系的功能性理解,即其能够产生的影响。在本研究中,我们提出了一种深度神经网络模型,该模型将物体、行动和影响统一到一个共同的潜在空间中的单个潜在向量中,我们称之为 affordance 空间。利用 affordance 空间,我们的系统可以在给定行动和物体的情况下生成影响轨迹,并且可以在给定影响轨迹和物体的情况下生成行动轨迹。我们的模型并没有学习单个代理人作用于单个物体的行为。相反,它形成了一个跨越多个代理人和物体的“共享 affordance 表示”,我们称之为 Affordance Equivalence。 Affordance Equivalence 不仅促进了跨物体的行动泛化,而且还促进了跨体现转移,将不同机器人的行动联系起来。除了证明所提模型能力范围的模拟实验外,我们还展示了我们的模型可以用于现实世界环境中的直接模仿。