LLM2D
Cognify: 通过层次化自调优增强生成式AI工作流
Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning
作者: Zijian He, Reyna Abhyankar, Vikranth Srivatsa, Yiying Zhang
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08056v1

摘要

arXiv:2502.08056v1 类型: 横向研究 摘要: 目前涉及多个ML模型调用、工具/API调用、数据检索或通用代码执行的gen-AI工作流通常是以一种随意手动调整的方式进行调优的,这种方式既耗费时间又容易出错。本文提出了一种系统化的自动调优gen-AI工作流的方法。我们的核心洞察是,gen-AI工作流可以从结构、操作符和提示的改变中获益,但gen-AI工作流的独特属性需要新的优化技术。我们提出了AdaSeek,一种自适应分层搜索算法,用于自动化调优gen-AI工作流。AdaSeek根据用户指定的总搜索预算将工作流调优方法组织成不同的层次,并根据每层的复杂性在不同层次之间分配预算。在其分层搜索过程中,AdaSeek根据工作流级别的评估结果,重新分配搜索预算,将预算从不太有效的配置重新分配到更有前途的配置。我们在一个名为Cognify的工作流自调优框架中实现了AdaSeek,并使用包括基于RAG的问答和文本到SQL转换在内的六种类型的工作流对Cognify进行了评估。总体而言,Cognify将这些工作流的生成质量提高了2.8倍,将执行成本降低了10倍,并将端到端延迟减少了2.7倍。