LLM2D
大规模语言模型增强的知识表示学习:一个综述
Large Language Model Enhanced Knowledge Representation Learning: A Survey
作者: Xin Wang, Zirui Chen, Haofen Wang, Leong Hou U, Zhao Li, Wenbin Guo
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2407.00936v3

摘要

arXiv:2407.00936v3 更新类型: replace-cross 摘要:知识表示学习(KRL)对于通过将知识事实投影到向量空间中,使知识图谱(KGs)的符号知识能够应用于下游任务至关重要。尽管KRL方法在建模KG结构信息方面表现出色,但它们面临着KG稀疏性的问题。基于Transformer架构构建的大语言模型(LLMs)的兴起为通过引入文本信息来增强KRL并解决KG中的信息稀疏性提供了前景。增强了大语言模型的KRL方法包括三种关键方法:利用详细上下文信息的编码器基方法、利用统一seq2seq模型进行全面编码和解码的编码器-解码器基方法,以及利用大量语料库中广泛应用的知识的解码器基方法,这些方法在应对各种下游任务方面显著提升了KRL的有效性和泛化能力。本文在提供对下游任务广泛概述的同时,也指出了这些不断发展的领域中的新兴研究方向。