LLM2D
SRSA:一种面向真实人机交互的经济高效的策略路由搜索代理
SRSA: A Cost-Efficient Strategy-Router Search Agent for Real-world Human-Machine Interactions
作者: Yaqi Wang, Haipei Xu
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2411.14574v1

摘要

大型语言模型 (LLM) 近来展现出令人印象深刻的新兴能力并获得了广泛的普及,基于 LLM 的搜索代理的研究也随之蓬勃发展。在现实生活中,用户经常向聊天机器人输入上下文相关且高度个性化的查询,这使得 LLM 难以捕捉上下文并生成合适的答案。然而,以往的大部分研究并没有特别关注真实的“人机对话”场景,也忽略了响应质量和计算成本之间的重要平衡,强制所有查询都遵循相同的代理流程。为了解决这些差距,我们提出了一种策略路由搜索代理 (SRSA),它将不同的查询路由到合适的搜索策略,并实现细粒度的串行搜索,从而以相对较低的成本获得高质量的结果。为了评估我们的工作,我们引入了一个新的数据集——上下文查询增强数据集 (CQED),其中包含上下文查询,以模拟人和聊天机器人之间真实且日常的交互。我们使用基于 LLM 的自动评估指标,评估了 SRSA 在信息量、完整性、新颖性和可操作性方面的性能。总之,SRSA 提供了一种方法,解决了简单的串行搜索导致冗长且上下文相关的查询产生退化答案的问题,能够有效且高效地解析复杂的用户信息查询,并在无需微调 LLM 的情况下生成更全面和信息丰富的响应。