摘要
arXiv:2502.08573v1 交叉公告类型:cross
摘要:随着人工智能和计算机视觉技术的发展,多模态情绪识别已成为一个突出的研究课题。然而,现有的方法在异构数据融合和模态相关性的有效利用方面面临挑战。本文基于对比学习和视觉序列压缩的集成,提出了一种新颖的多模态情绪识别方法,DeepMSI-MER。该方法通过对比学习增强跨模态特征融合,并通过利用视觉序列压缩减少视觉模态中的冗余。在两个公开数据集IEMOCAP和MELD上的实验结果表明,DeepMSI-MER 显著提高了情绪识别的准确性和鲁棒性,验证了多模态特征融合的有效性和所提出方法的有效性。