LLM2D
基于预训练语言模型的文档级上下文少样本关系抽取
Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models
作者: Yilmazcan Ozyurt, Stefan Feuerriegel, Ce Zhang
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2310.11085v4

摘要

文档级关系抽取旨在从文本文档中推断出结构化的知识。当前最先进的方法使用预训练语言模型 (LM) 通过微调来完成此任务,但微调计算量大,无法适应新的关系类型或新的 LM。为了解决这个问题,我们利用预训练 LM 的泛化能力,提出了一种用于文档级上下文少样本关系抽取的新框架。我们的框架具有三个优点:它无需 (1) 进行命名实体识别,(2) 进行文档的人工标注,以及 (3) 在更新到新的 LM 时无需重新训练。我们使用 DocRED 对我们的框架进行评估,DocRED 是最大的公开可用的文档级关系抽取数据集,结果表明我们的框架达到了最先进的性能。我们进一步证明,我们的框架实际上比 DocRED 开发集中的原始标签表现得更好。最后,我们进行了一项广泛的基准测试,证明了我们框架的有效性,在六个关系抽取数据集上取得了最先进的结果,超过了 30 多种基线方法。与我们的框架不同,基线方法具有较大的计算开销(例如,来自微调)。据我们所知,我们是第一个将文档级关系抽取任务重新定义为定制的上下文少样本学习范式的。