arXiv:2408.07982v2 公告类型: replace-cross 摘要：ChatGPT\copyright{}和其他大型语言模型的性能得到了显著提升，它们在在线环境中越来越有可能被用于各种情况下，如网页上的聊天机器人、利用语音交互的呼叫中心操作以及使用代理的对话功能。在离线环境中，通过平板终端使用人工智能代理（AI代理）提供指导以及机器人上安装的大规模语言模型对话系统等多模态对话功能也正在实现。在多模态对话中，AI与用户之间的相互情感识别将会变得重要。到目前为止，已有方法用于表达AI代理的情感或通过用户的陈述或语音信息来识别这些情感，但对于AI代理通过捕获用户的面部表情来识别用户情感的方法尚未进行研究。在这项研究中，我们通过使用相机捕捉对话中的用户、从面部表情来识别情感并将其情感信息添加到提示中，来检验基于LLM的AI代理能否根据用户的情感状态进行交互。结果证实，对于情感评分较高的状态（如快乐和愤怒），AI代理能够根据用户的情感状态进行对话。