LLM2D
一种新颖的多模态情感识别方法:多模态语义信息融合
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
作者: Wei Dai, Dequan Zheng, Feng Yu, Yanrong Zhang, Yaohui Hou
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08573v1

摘要

arXiv:2502.08573v1 交叉公告类型:cross 摘要:随着人工智能和计算机视觉技术的发展,多模态情绪识别已成为一个突出的研究课题。然而,现有的方法在异构数据融合和模态相关性的有效利用方面面临挑战。本文基于对比学习和视觉序列压缩的集成,提出了一种新颖的多模态情绪识别方法,DeepMSI-MER。该方法通过对比学习增强跨模态特征融合,并通过利用视觉序列压缩减少视觉模态中的冗余。在两个公开数据集IEMOCAP和MELD上的实验结果表明,DeepMSI-MER 显著提高了情绪识别的准确性和鲁棒性,验证了多模态特征融合的有效性和所提出方法的有效性。