LLM2D
基于对比学习的知识驱动型大语言模型问句生成方法
Contrastive Learning for Knowledge-Based Question Generation in Large Language Models
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.13994v1

摘要

arXiv:2409.13994v1 公告类型: 交叉 摘要: 随着人工智能技术的快速发展,尤其是问答系统的日益广泛应用,高质量的问题生成已成为支持这些系统发展的关键组成部分。本文聚焦于基于知识的问答生成技术,旨在使计算机能够基于对特定文本或知识库的理解,模拟人类的提问过程。针对大规模语言模型在应用于知识密集型任务时存在的幻觉和知识缺口问题,本文提出了一种结合对比学习的增强型问答生成方法。该方法利用多个模型共同挖掘领域知识,并通过对比学习引导模型减少生成中的噪声和幻觉。实验结果表明,通过设计包含对比示例的提示,模型在问答生成方面的性能显著提升,特别是在同时使用对比指令和示例时,生成的问答质量最高,准确性也得到提高。这些结果表明,本文提出的结合对比上下文和思维链提示的方法,能够有效提升问答生成的质量和实用性。