arXiv:2502.02772v2 交叉模态类型: 替换交叉 摘要：提出了一种同时嵌入力轮廓和语言的方法，以实现口头和触觉沟通的协同协调。当两个人一起搬运大型重物时，他们会通过口头交流来协调各自的意图动作以及施加在物体上的物理力。这种口头和物理线索的自然结合使有效的协调成为可能。类似地，人类与机器人的交互可以通过整合口头和触觉沟通模态来实现这种水平的协调。本文提出了一种框架，以便以统一的方式嵌入词语和力轮廓，从而使两种沟通模态能够以有效且协同的方式结合和协调。在此将展示，尽管语言和物理力轮廓被视为完全不同的，但两者仍可以在统一的潜在空间中嵌入，并且可以量化两种模态之间的距离。在这个潜在空间中，力轮廓和语言可以：a) 相互补充，b) 整合个体效应，c) 以可互换的方式替代。首先，本文将讨论跨模态嵌入的需求，并介绍基本架构和关键技术组件。随后将讨论数据收集方法和实施挑战，以及实验结果和讨论。