arXiv:2502.08056v1 类型: 横向研究 摘要: 目前涉及多个ML模型调用、工具/API调用、数据检索或通用代码执行的gen-AI工作流通常是以一种随意手动调整的方式进行调优的，这种方式既耗费时间又容易出错。本文提出了一种系统化的自动调优gen-AI工作流的方法。我们的核心洞察是，gen-AI工作流可以从结构、操作符和提示的改变中获益，但gen-AI工作流的独特属性需要新的优化技术。我们提出了AdaSeek，一种自适应分层搜索算法，用于自动化调优gen-AI工作流。AdaSeek根据用户指定的总搜索预算将工作流调优方法组织成不同的层次，并根据每层的复杂性在不同层次之间分配预算。在其分层搜索过程中，AdaSeek根据工作流级别的评估结果，重新分配搜索预算，将预算从不太有效的配置重新分配到更有前途的配置。我们在一个名为Cognify的工作流自调优框架中实现了AdaSeek，并使用包括基于RAG的问答和文本到SQL转换在内的六种类型的工作流对Cognify进行了评估。总体而言，Cognify将这些工作流的生成质量提高了2.8倍，将执行成本降低了10倍，并将端到端延迟减少了2.7倍。