摘要
大型语言模型 (LLM) 的出现引发了对其在金融领域的各种应用的大量研究。然而,在将 LLM 应用于长文档时,语义关系没有被明确地纳入,并且采用了完全或任意稀疏的注意力机制。近年来,抽象意义表示 (AMR) 取得了进展,它是一种基于图的文本表示,用于保留其语义关系。由于 AMR 可以更深入地表示语义关系,因此图神经网络 (GNN) 可以利用它来构建基于 LLM 嵌入的有效文档级图表示,以预测金融领域的指标。我们提出了 FLAG:基于 AMR 的 GNN 的金融长文档分类,这是一个基于 AMR 图的框架,用于生成长金融文档分类的文档级嵌入。我们从句子级 AMR 图构建文档级图,在金融领域赋予它们专门的 LLM 词嵌入,应用利用 GNN 的深度学习机制,并检查我们基于 AMR 的方法在预测来自长金融文档的标记目标数据方面的有效性。我们对不同经济部门公司季度财报电话会议记录数据集以及对 S&P 1500 综合指数公司最近财报电话会议语料库进行了广泛的实验。我们发现,在预测两个数据集不同时间范围内股价走势趋势方面,我们基于 AMR 的方法优于直接对文本进行微调的 LLM。我们的工作也优于之前利用文档图和 GNN 进行文本分类的工作。