arXiv:2502.09675v1 宣传类型: cross 摘要: 多模态情感分析（MSA）旨在通过利用文本、声学和视觉模态来识别人类情感，因此如何充分利用不同模态之间的交互是MSA的核心挑战。交互包含对齐和冲突方面。当前的研究主要强调对齐以及单模态之间的固有差异，忽略了两模态组合之间也可能存在潜在的冲突。此外，基于多任务学习的冲突建模方法往往依赖于不稳定的生成标签。为了解决这些挑战，我们提出了一种新颖的多级冲突感知网络（MCAN），该网络逐步将对齐和冲突成分从单模态和两模态表示中分离出来，并进一步利用冲突建模分支中的冲突成分。在冲突建模分支中，我们在表示和预测输出两个层面上进行差异性约束，避免依赖于生成的标签。在CMU-MOSI和CMU-MOSEI数据集上的实验结果证明了所提出的MCAN的有效性。