arXiv:2412.06808v2 通告类型: 替换-交叉 摘要：有效的机器人和人类协作需要机器人根据人类的需求、任务要求和复杂性来调整其角色和支持水平。传统的机器人与人类团队合作通常依赖于预设的机器人通信方案，这限制了在复杂任务中的团队合作适应性。利用大型语言模型的强大通信能力，我们提出了一种基于多模态语言反馈的人机团队框架（HRT-ML），该框架旨在通过调整基于语言的反馈的频率和内容来增强人机互动。HRT-ML框架包括两个核心模块：一个协调器，用于提供高层次和低频率的战略指导，以及一个管理器，用于提供特定子任务的高频率指令，使机器人能与人类队友进行被动和主动互动。为了评估语言反馈在协作场景中的影响，我们在一个改进的 Overcooked 环境中进行了实验，该环境的任务复杂性（简单、中等、困难）和反馈频率（非活跃、被动、主动、超活跃）各不相同。我们的结果显示，当任务复杂相对超过人类能力时，人类队友更倾向于能够提供频繁主动支持的机器人代理。然而，当任务复杂性超过大型语言模型（LLM）的能力时，超活跃机器人代理产生的杂乱和不准确的反馈可能会反而阻碍团队表现，因为人类队友需要增加努力来解释和回应大量通信，而效果有限。我们的结果为机器人代理动态调整其通信频率和水平，与人类无缝协作并实现改进的团队合作性能提供了通用原则。