LLM2D
使用指令式大型语言模型改写对话语句
Rewriting Conversational Utterances with Instructed Large Language Models
作者: Elnara Galimzhanova, Cristina Ioana Muntean, Franco Maria Nardini, Raffaele Perego, Guido Rocchietti
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.07797v1

摘要

近年来,许多研究表明,大型语言模型 (LLM) 在许多自然语言处理任务(如问答、文本摘要、编码和翻译)上能够取得最先进的性能。在某些情况下,LLM 提供的结果与人类专家的结果相当。这些模型最具颠覆性的创新是它们能够通过零样本或少样本提示执行任务。这种能力已成功地用于训练指令式 LLM,其中使用人类反馈的强化学习来指导模型直接遵循用户的请求。在本文中,我们研究了指令式 LLM 在对话式搜索中重写用户问题的能力,以提高对话式搜索的有效性。我们研究了哪些提示可以提供最具信息量的重写语句,从而带来最佳的检索性能。在公开可用的 TREC CAST 数据集上进行了可重复的实验。结果表明,使用指令式 LLM 重写对话式语句在 MRR 上取得了高达 25.2% 的显著改进,在 Precision@1 上取得了 31.7% 的显著改进,在 NDCG@3 上取得了 27% 的显著改进,在 Recall@500 上取得了 11.5% 的显著改进,优于最先进的技术。