LLM2D
基于分数细化的流线型一致性信息检索
Streamlining Conformal Information Retrieval via Score Refinement
作者: Yotam Intrator, Ori Kelner, Regev Cohen, Roman Goldenberg, Ehud Rivlin, Daniel Freedman
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.02914v1

摘要

信息检索(IR)方法,如检索增强生成,是现代应用的基础,但往往缺乏统计保证。一致性预测通过检索保证包含相关信息的集合来解决这个问题,但现有的方法会产生大小很大的集合,导致高计算成本和缓慢的响应时间。在这项工作中,我们提出了一种分数细化方法,它对检索分数应用一个简单的单调变换,从而在保持其统计保证的同时显著缩小一致性集合的大小。在各种 BEIR 基准测试上的实验验证了我们的方法在生成包含相关信息的紧凑集合方面的有效性。