LLM2D
TreeHop:高效生成和过滤多跳查询嵌入
TreeHop: Generate and Filter Next Query Embeddings Efficiently for Multi-hop Question Answering
作者: Zhonghao Li, Kunpeng Zhang, Jinghuai Ou, Shuliang Liu, Xuming Hu
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.20114v2

摘要

arXiv:2504.20114v2 通知类型: 替换-交叉 摘要:检索增强生成(RAG)系统在多跳问答(MHQA)中面临重大挑战,其中复杂的查询需要跨多个文档片段综合信息。现有方法通常依赖于迭代的LLM基查询重写和路由,这导致了高计算成本,因为需要多次调用LLM和多阶段过程。为了解决这些限制,我们提出了一种无需在查询精化过程中使用LLM的基于嵌入的TreeHop框架。TreeHop通过融合先前查询和检索文档的语义信息,动态更新查询嵌入,仅通过嵌入空间操作即可实现迭代检索。该方法用简洁的“检索-嵌入-检索”循环取代了传统的“检索-重写-向量化-检索”周期,显著降低了计算开销。此外,引入了基于规则的停止标准,进一步减少冗余检索,平衡了效率和召回率。实验结果显示,TreeHop在三个开放域MHQA数据集中与先进的RAG方法相媲美,仅使用5%-0.4%的模型参数大小就能实现相当的性能,并且与同时的方法相比,查询延迟大约减少了99%。这使得TreeHop成为一个更快速且更经济高效的应用于知识密集型应用程序部署的解决方案。为了便于再现性,代码和数据可供在此处获取:https://github.com/allen-li1231/TreeHop-RAG。