arXiv:2408.04203v2 宣言类型: 更新 摘要：近年来，角色扮演代理（RPAs）由于其潜在的情感价值和促进社会研究的能力而引起了越来越多的注意。然而，现有的研究主要局限于文本模式，无法模拟人类的多模态感知能力。为了填补这一空白，我们引入了多模态角色扮演代理（MRPAs）的概念，并提出了一个用于其开发和评估的综合框架 MMRole，该框架包括个性化多模态数据集和稳健的评估方法。具体来说，我们构建了一个大规模、高质量的数据集 MMRole-Data，包含85个角色、1.1万张图像和1.4万条单轮或多轮对话。此外，我们还提出了一种稳健的评估方法 MMRole-Eval，该方法涵盖三个维度的八项指标，其中设计了一个奖励模型，用于使用构建的 ground-truth 数据对 MRPAs 进行评分进行比较。此外，我们开发了第一个专门的 MRPAs，MMRole-Agent。广泛的评估结果证明了 MMRole-Agent 的性能改进，并突出了开发 MRPAs 的主要挑战，强调了增强多模态理解和角色扮演一致性的重要性。数据、代码和模型均可在 https://github.com/YanqiDai/MMRole 获取。