摘要
arXiv:2504.02064v1 交叉类型:cross
摘要:研究人员将自然语言处理任务移交给以Transformer为代表的模型,特别是生成模型,因为这些模型在执行生成和分类任务时表现出高度的灵活性。随着这些模型规模的增加,它们取得了卓越的成果。由于模型规模庞大,很多基于这些模型开发了解释性技术。然而,这一过程变得计算成本高昂。此外,Transformer通过令牌将输入词汇分割成缺乏内在语义意义的序列,使得从一开始就解释模型变得复杂。本研究提出了一种新颖的方法,通过自动将句子转换为图,并通过节点和关系表达基本的语义概念来实现自然语言处理任务的可解释性。这种方法还允许在后续任务中利用这些知识,使其能够在给定分类任务中获取趋势,并理解模型如何将文本中的不同元素与解释的任务联系起来。实验结果表明,在确定给定文本结构中最重要的组成部分方面取得了令人鼓舞的结果。