LLM2D
长句中增强关系抽取的实体感知自注意力和上下文化图卷积网络
Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.13755v1

摘要

arXiv:2409.13755v1 公告类型: 交叉 摘要: 关系抽取作为一项重要的自然语言处理任务,旨在识别文本中命名实体之间的关系。近年来,基于依存树的图卷积网络被广泛用于捕捉句法特征,并取得了显著的性能。然而,大多数现有的基于依存关系的方法忽略了依存树之外的词语的积极影响,这些词语有时传达了丰富的、对关系抽取有用的信息。本文提出了一种新颖的模型,即实体感知自注意力上下文化图卷积网络(ESC-GCN),该模型有效地结合了输入句子的句法结构和序列的语义上下文。具体而言,相对位置自注意力机制获取了与词语位置相关的整体语义成对相关性,而上下文化图卷积网络通过充分的剪枝操作捕捉了词语之间的丰富句子内依赖关系。此外,实体感知注意力层动态选择哪些标记对最终的关系预测更为关键。通过这种方式,我们提出的模型不仅减少了依存树的噪声影响,还获得了容易被忽略的与实体相关的语义表示。在各种任务上的广泛实验表明,与现有的基于依存关系和基于序列的模型相比,我们的模型取得了令人鼓舞的性能。特别是,我们的模型在提取长句子中实体之间的关系方面表现出色。