arXiv:2409.13726v1 公告类型: 交叉 摘要: 非言语行为是理解对话动态和对话者之间情感状态的核心挑战，这些情感状态源于互动。尽管心理学研究表明非言语行为在不同文化中有所不同，但关于这些差异及其对参与度识别影响的计算分析却非常有限。为了更深入地理解广泛文化和语言领域中的参与度和非言语行为，本研究进行了多语言计算分析，探讨了非言语特征在参与度和参与度预测中的作用。为此，我们首先扩展了NoXi数据集，该数据集包含来自法国、德国和英国参与者的互动数据，通过收集日本和中国双人对话的会话数据，形成了增强数据集NoXi+J。接着，我们通过各种模式识别技术和算法提取了多模态非言语特征，包括语音声学、面部表情、反馈和手势。然后，我们对倾听行为和反馈模式进行了统计分析，以识别每种语言中文化依赖和独立特征以及多种语言中的共同特征。这些特征还与对话者的参与度相关联。最后，我们分析了LSTM模型在预测五种语言数据集参与度时输入特征中文化差异的影响。结合迁移学习的SHAP分析证实了语言集输入特征重要性与分析的文化特征显著性之间存在相当大的相关性。