LLM2D
缓解基于LLM的生成性检索幻觉以提高支付宝搜索效果
Alleviating LLM-based Generative Retrieval Hallucination in Alipay Search
作者: Yedan Shen, Kaixin Wu, Yuechen Ding, Jingyuan Wen, Hong Liu, Mingjie Zhong, Zhouhan Lin, Jia Xu, Linjian Mo
发布日期: 3/28/2025
arXiv ID: oai:arXiv.org:2503.21098v1

摘要

arXiv:2503.21098v1 Announce Type: cross 摘要:生成检索(GR)随着大语言模型(LLMs)的出现革命性地改变了文档检索,并且基于LLM的GR逐渐被行业采用。尽管其具有显著的优点和潜力,但基于LLM的GR遭受幻觉的影响,在某些情况下生成与查询无关的文档,极大地挑战了其在实际应用中的可信度。因此,我们提出了一种优化的GR框架,旨在减轻检索幻觉,该框架在模型训练中结合了知识蒸馏推理,并加入决策代理以进一步提高检索精度。具体来说,我们使用LLM来评估和推理GR检索到的查询-文档(q-d)对,然后将推理数据作为转移知识传授给GR模型。此外,我们利用决策代理作为后处理步骤,通过检索模型扩展GR检索到的文档,并从多个角度从中选择最相关的文档作为最终生成检索结果。在支付宝的基金搜索和保险搜索真实世界数据集上的离线实验以及在线A/B测试中,我们的框架在提高搜索质量和转换收益方面显示了其优越性和有效性。