LLM2D
大型语言模型在多模态情感分析中的应用:挑战、基准和未来方向
Exploring Large Language Models for Multimodal Sentiment Analysis: Challenges, Benchmarks, and Future Directions
作者: Shezheng Song
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15408v1

摘要

多模态方面情感分析 (MABSA) 旨在从多模态信息(包括文本和图像)中提取方面术语及其对应的情感极性。虽然传统的监督学习方法已在该任务中显示出有效性,但大型语言模型 (LLM) 对 MABSA 的适应性仍不确定。Llama2、LLaVA 和 ChatGPT 等 LLM 的最新进展展示了其在一般任务中的强大能力,但它们在 MABSA 等复杂和细粒度场景中的性能尚未得到充分探索。在本研究中,我们对 LLM 是否适合用于 MABSA 进行了全面的调查。为此,我们构建了一个基准来评估 LLM 在 MABSA 任务上的性能,并将其与最先进的监督学习方法进行比较。我们的实验表明,虽然 LLM 在多模态理解方面显示出潜力,但它们在实现 MABSA 的令人满意结果方面面临重大挑战,尤其是在准确性和推理时间方面。基于这些发现,我们讨论了当前 LLM 的局限性,并概述了未来增强其多模态情感分析能力的研究方向。