LLM2D
基于对比学习的大语言模型知识问答生成
Contrastive Learning for Knowledge-Based Question Generation in Large Language Models
作者: Zhenhong Zhang, Jiajing Chen, Weiyan Shi, Lingjie Yi, Chihang Wang, Qian Yu
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2409.13994v2

摘要

随着人工智能技术的快速发展,特别是问答系统的广泛应用,高质量的 प्रश्न निर्माण (问题生成) 已经成为支持这些系统发展的重要组成部分。本文重点研究基于知识的 प्रश्न निर्माण 技术,旨在使计算机能够基于对特定文本或知识库的理解来模拟人类的提问过程。针对大型语言模型在知识密集型任务中出现的幻觉和知识缺失问题,本文提出了一种结合对比学习的增强型 प्रश्न निर्माण 方法。该方法利用多个模型联合挖掘领域知识,并使用对比学习来引导模型减少生成过程中的噪音和幻觉。实验结果表明,通过设计包含对比例子的提示,模型在 प्रश्न निर्माण 方面的性能得到显著提高,特别是在同时使用对比指令和示例的情况下,生成的 प्रश्न 质量最高,准确率也得到提升。这些结果表明,本文提出的结合对比上下文和思维链提示的方法可以有效地提高 प्रश्न निर्माण 的质量和实用性。