arXiv:2502.18635v2 通告类型: 交叉替换 摘要：虽然检索增强生成（RAG）已成为提高大型语言模型（LLM）系统性能的一种流行技术，但它引入了大量的选择、参数和超参数需要做出或调整。这包括LTM模型本身、嵌入和排名模型，以及个别RAG组件的超参数。然而，由于解空间难以处理、目标评估噪音大以及评估成本高昂，集体优化整个RAG或LLM系统的配置——尤其是在多目标设置下——仍然鲜有探索。在本文中，我们提出了第一个方法，用于在整个LLM和RAG系统中对成本、延迟、安全性和对齐进行多目标参数优化。我们发现贝叶斯优化方法显著优于基准方法，在两个新的RAG基准任务中获得了更优的帕累托前沿。在文章的结尾，我们对设计多目标RAG系统的实践者提出了重要的考虑事项，指出最优配置可能无法泛化到不同的任务和目标，突显了这一领域的复杂性。