arXiv:2502.10678v1 交叉领域公告类型 摘要：本文探讨了生成视觉辅助在人类与机器人任务通信中的集成。我们开发了GenComUI，这是一种基于大型语言模型的系统，能够动态生成上下文相关的视觉辅助（如地图标注、路径指示器和动画），以支持口头任务通信并促进为机器人生成定制的任务程序。该系统借鉴了一项形成性研究，该研究探讨了人类如何利用外部视觉工具来协助空间任务中的口头通信。为了评估其有效性，我们进行了一个用户实验（n=20），比较了GenComUI与仅语音基线。结果表明，生成的视觉辅助，通过定性和定量分析，通过提供连续的视觉反馈，增强了口头任务通信，从而促进了自然和有效的机器人-人类通信。此外，研究还提供了一组设计建议，强调了动态生成的视觉辅助如何作为一种有效的通信媒介在人机交互中发挥作用。这些发现强调了生成视觉辅助在人机交互设计中的潜力，特别是在复杂的人机交互通信场景和基于LLM的面向用户的开发中更直观和有效的通信设计方面。