摘要
arXiv:2503.23415v1 交叉类型公告
摘要:大型语言模型(LLMs)经常生成事实性不准确的输出,这种现象称为幻觉,这限制了它们在知识密集型NLP任务中的准确性。检索增强生成和主动框架(如Reasoning and Acting,ReAct)可以通过让模型访问外部知识来解决这一问题。然而,LLMs往往未能忠实地重现检索到的信息。如果LLMs需要对检索到的信息进行推理,这一点尤其重要。近期研究探索了无训练解码策略,以提高模型生成的准确性。我们对ReAct框架与解码策略(即DeCoRe、DoLa和CAD)的结合如何影响LLM生成答案的准确性进行了系统的分析。结果显示,结合用于知识检索的主动框架与增强忠实性的解码方法可以提高下游多跳问答任务的准确性。例如,使用ReAct和DoLa时,我们在HotpotQA上的F1得分从19.5提高到32.6。