LLM2D
面向开放域问答的检索增强生成 (RAG) 模型的领域自适应改进
Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering
作者: Shamane Siriwardhana, Rivindu Weerasekera, Elliott Wen, Tharindu Kaluarachchi, Rajib Rana, Suranga Nanayakkara
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2210.02627v1

摘要

检索增强生成 (RAG) 是开放域问答 (ODQA) 的一项最新进展。RAG 仅在基于维基百科的外部知识库上进行训练和探索,并未针对医疗保健和新闻等其他专业领域进行优化。本文评估了 RAG 的检索器和生成器组件联合训练对 ODQA 中领域自适应任务的影响。我们提出了 *RAG-end2end*,它是 RAG 的扩展,可以通过在训练过程中更新外部知识库的所有组件来适应特定领域的知识库。此外,我们还引入了一种辅助训练信号来注入更多特定领域的知识。这种辅助信号迫使 *RAG-end2end* 通过访问外部知识库中的相关信息来重建给定句子。我们的新贡献不同于 RAG,RAG-end2end 对检索器和生成器进行联合训练,以完成最终的 QA 任务和领域自适应。我们使用来自三个领域的数据集对我们的方法进行了评估:COVID-19、新闻和对话,与原始 RAG 模型相比,取得了显著的性能改进。我们的工作已通过 Huggingface Transformers 库开源,证明了我们工作 的可信度和技术一致性。