arXiv:2410.14225v2 任务类型: replace-cross 摘要: 多模态实体-关系提取（JMERE）是一项挑战性的任务，旨在从社交媒体帖子中的文图对中提取实体及其关系。现有JMERE方法需要大量的标注数据。然而，为JMERE收集和注释精细粒度的多模态数据构成了巨大的挑战。起初，我们构建了符合原始数据分布的多样性和全面的多模态少量样本数据集。为了解决少量样本设置中的信息不足问题，我们引入了Knowledge-Enhanced Cross-modal Prompt Model (KECPM) 用于JMERE。这种方法可以通过引导大型语言模型生成补充背景知识来有效解决少量样本设置中的信息不足问题。我们提出的方法分为两个阶段：（1）知识摄取阶段，该阶段基于语义相似性动态制定提示，引导ChatGPT生成相关知识，并利用自我反思来完善知识；（2）知识增强的语言模型阶段，该阶段将辅助知识与原始输入合并，并利用基于变换器的模型对齐JMERE所需的输出格式。我们在源自JMERE数据集的少量样本数据集上广泛评估了我们的方法，结果显示与强基线相比，在微观和宏观F$_1$分数方面均表现出优越性。此外，我们还提供了定性分析和案例研究来阐明我们模型的有效性。