摘要
大型语言模型 (LLM) 的数量和种类正在迅速增长,这给高效选择适合特定查询的 LLM 带来了重大挑战,尤其是在性能和计算成本之间的权衡方面。现有的 LLM 选择方法通常难以在新的 LLM 和不同的任务之间进行泛化,因为它们在利用任务、查询和 LLM 之间的上下文交互方面能力有限,并且依赖于转导学习框架。为了解决这些缺点,我们提出了一种名为 GraphRouter 的新型归纳图框架,该框架充分利用任务、查询和 LLM 之间的上下文信息来增强 LLM 选择过程。GraphRouter 构建了一个包含任务、查询和 LLM 节点的异构图,用边来表示交互,从而有效地捕获查询需求与 LLM 能力之间的上下文信息。通过一种创新的边预测机制,GraphRouter 能够预测潜在边的属性(LLM 响应的效果和成本),从而提供针对现有 LLM 和新引入 LLM 的优化推荐,无需重新训练。在三种不同的效果-成本权重场景下进行的综合实验表明,GraphRouter 明显优于现有的路由器,性能至少提高了 12.3%。此外,它在新的 LLM 设置中实现了增强的泛化能力,并支持多种任务,效果至少提高了 9.5%,同时显著降低了计算需求。这项工作致力于应用基于图的方法来进行 LLM 的上下文和自适应选择,为现实世界应用提供见解。GraphRouter 的代码将很快在 https://github.com/ulab-uiuc/GraphRouter 上发布。