arXiv:2407.10834v3 宣传类型：替换交叉 摘要：机器学习（ML）的迅速进步催生了许多大型语言模型（LLMs），这些模型在各种任务和领域中表现出色。这些LLMs在计算能力或定价方面各不相同。由于每个查询的需求可能因查询的领域或其复杂性而异，因此在应用中默认使用一个LLM通常并不是最佳选择，无论是最大的、最贵的，还是平均测试性能最佳的。因此，选择一个既准确又经济的LLM对于应用程序来说是必要的，但这也仍是一个挑战。在这篇文章中，我们介绍了MetaLLM，这是一种框架，它能够动态和智能地将每个查询路由到一组可用的LLM中的最优模型，以实现分类和多选题作答任务，显著提高了准确性和成本效益。通过将选择问题视为一个多臂 bandit 问题，MetaLLM 在不确定性下平衡了预测准确性和成本效率。我们在包括OpenAI和Together AI在内的流行LLM平台以及开源LLM上进行的实验展示了MetaLLM在实际场景中的有效性，为其未来的扩展奠定了基础。