arXiv:2502.02772v1 Announce Type: 跨模态 摘要：提出了一种将力轮廓和文字嵌入的跨模态方法，以便实现言语和触觉通信的协同协调。当两个人一起搬运一个大而重的物体时，他们通过言语交流各自计划的动作以及施加在物体上的物理力来进行协调。这种言语和物理提示的自然整合使得有效的协调成为可能。类似地，通过整合言语和触觉通信模态，人机交互可以实现这种水平的协调。本文介绍了一个框架，将言语和力轮廓统一嵌入，以便两种通信模态可以以有效且协同的方式进行整合和协调。在这里，将展示尽管言语和物理力轮廓被视为完全不同的两种形式，但它们可以在一个统一的潜在空间中嵌入，并且两种形式之间的距离可以量化。在这个潜在空间中，力轮廓和言语可以：a) 相互补充，b) 整合个体效果，c) 以可互换的方式替代。首先，介绍了跨模态嵌入的需求，并介绍了基本架构和关键技术组件。随后，将讨论数据收集方法和实施挑战，接着展示实验结果和讨论。