LLM2D
基于知识引导的动态模态注意力融合框架用于多模态情感分析
Knowledge-Guided Dynamic Modality Attention Fusion Framework for Multimodal Sentiment Analysis
作者: Xinyu Feng, Yuming Lin, Lihua He, You Li, Liang Chang, Ya Zhou
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.04491v1

摘要

多模态情感分析 (MSA) 利用多模态数据来推断用户的感情。以往的方法侧重于平等地对待每种模态的贡献,或静态地使用文本作为主导模态进行交互,而忽略了每种模态可能成为主导的情况。本文提出了一种基于知识引导的动态模态注意力融合框架 (KuDA) 用于多模态情感分析。KuDA 利用情感知识来引导模型动态地选择主导模态并调整每种模态的贡献。此外,通过获得的多模态表示,模型可以通过相关性评估损失进一步突出主导模态的贡献。在四个 MSA 基准数据集上的大量实验表明,KuDA 实现了最先进的性能,并且能够适应不同主导模态场景。