摘要
arXiv:2504.12151v1 交叉公告类型
摘要:多模态情感分析(MSA)面临两个关键挑战:多模态融合决策逻辑的不可解释性以及由于跨模态信息密度差异导致的模态不平衡。为了解决这些问题,我们提出了一种名为KAN-MCP的新框架,该框架将Kolmogorov-Arnold网络(KAN)的可解释性和Multimodal Clean Pareto(MCPareto)框架的鲁棒性相结合。首先,KAN利用其一元函数分解来实现跨模态交互的透明分析。这种结构设计允许直接检查特征变换,无需依赖外部解释工具,从而确保了高表达性和可解释性。其次,所提出的MCPareto通过解决模态不平衡和噪声干扰来增强鲁棒性。具体而言,我们引入了维度降低和去噪模态信息瓶颈(DRD-MIB)方法,该方法同时进行去噪和特征维度的降维。该方法为KAN提供具有辨别性的低维输入,以减少KAN的建模复杂性,同时保留关键的情感相关信息。此外,MCPareto通过DRD-MIB输出的净化特征动态平衡模态间梯度贡献,确保辅助信号的无损传输并对模态不平衡进行有效缓解。这种可解释性和鲁棒性的协同作用不仅在CMU-MOSI、CMU-MOSEI和CH-SIMS v2等基准数据集上实现了卓越的性能,还通过KAN的可解释结构提供了直观的可视化界面。