LLM2D
树跳:高效生成和过滤多跳查询嵌入
TreeHop: Generate and Filter Next Query Embeddings Efficiently for Multi-hop Question Answering
作者: Zhonghao Li, Kunpeng Zhang, Jinghuai Ou, Shuliang Liu, Xuming Hu
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.20114v1

摘要

arXiv:2504.20114v1 宣告类型: cross 摘要: 在多跳问答(MHQA)中,检索增强生成(RAG)系统面临着重大挑战,复杂的查询需要跨多个文档片段综合信息。现有的方法通常依赖于迭代的LLM驱动查询重写和路由,导致由于反复调用LLM和多阶段过程而产生高昂的计算成本。为了解决这些局限性,我们提出了TreeHop,这是一种无需LLM进行查询优化的嵌入级别框架。TreeHop动态更新查询嵌入,通过融合先验查询和检索文档的语义信息来实现嵌入空间操作驱动的迭代检索。这种方法用简化的“检索-嵌入-检索”循环取代了传统的“检索-重写-向量化-检索”周期,显著减少了计算开销。此外,还引入了一种基于规则的停止标准,进一步减少了冗余检索,平衡了效率和召回率。实验结果表明,TreeHop在三个开放领域MHQA数据集中的性能可与先进的RAG方法相媲美,仅使用5%-0.4%的模型参数量,并且与同时进行的方法相比,查询延迟减少了大约99%。这使TreeHop成为多种知识密集型应用部署的一个更快且更经济有效的解决方案。为了便于可再现性,代码和数据在此处提供:https://github.com/allen-li1231/TreeHop。