LLM2D
基于Transformer的编码器-解码器模型在类人文本摘要中的评估
Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization
作者: Sindhu Nair, Y. S. Rao, Radha Shankarmani
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16842v1

摘要

近年来,从海量文本中提取有价值信息取得了显著进展。尤其在当今社交媒体时代,人们期望快速获取信息。自动文本摘要旨在通过将大型文本压缩成更易于管理的摘要来解决这个问题。这一重要的研究领域可以通过从海量文本中挖掘出重要内容来辅助决策。随着深度学习模型的进步,语言模型方面涌现出大量工作。深度学习中的编码器-解码器框架已成为自动文本摘要的核心方法。这项工作利用基于 Transformer 的 BART 模型进行类人文本摘要,这是一个充满挑战的开放性问题。在对编码器-解码器模型进行训练和微调后,我们使用各种样本文章对其进行测试,并基于人工评估参数评估不同样本摘要的质量。此外,我们将微调后的模型性能与基于 ROUGE 分数和 BERTScore 等评估指标的基线预训练模型进行了比较。此外,为了提高对话参与者之间抽象摘要的性能,需要对模型进行领域自适应。研究发现,上述常用的评估指标对事实错误不敏感。我们使用 WeCheck 和 SummaC 等当代事实一致性评估指标,对微调模型生成的摘要进行了进一步研究。对 BBC 新闻文章的实证结果表明,人工编写的黄金标准摘要比微调模型生成的抽象摘要在事实一致性方面高出 17%。