摘要
arXiv:2504.05317v1 类型: cross
摘要:问答(QA)占了在实际使用中大规模语言模型(LLM)使用量的重要部分。然而,LLM 有时会产生虚假或误导性的响应,也就是所谓的“幻觉”。因此,将生成的答案与提供的上下文信息联系起来——即为生成的文本提供证据——对于提升LLM的可信度至关重要。提供这些信息是上下文归因的任务。在本文中,我们系统地研究了基于LLM的上下文归因方法,具体而言,我们探讨了(i)零-shot推理,(ii)LLM集成,以及(iii)在由较大LLM生成的合成数据上微调小型LM。我们的重要贡献是SynQA:一种新颖的合成策略,用于生成上下文归因数据。给定选择的上下文句子,LLM生成由这些句子支持的QA对。这种方法利用了LLM在文本生成方面的自然优势,同时确保合成训练数据中的归因路径清晰。我们展示了通过SynQA合成的归因数据对不同QA任务和领域的小型LM进行微调时具有高度有效性。最后,通过用户研究,我们验证了在上下文归因中使用在SynQA生成的合成数据上微调的小型LM的有效性。