LLM2D
AutoML-Agent:一个面向全流程自动机器学习的多智能体大型语言模型框架
AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML
作者: Patara Trirat, Wonyong Jeong, Sung Ju Hwang
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.02958v1

摘要

自动机器学习 (AutoML) 通过自动化开发流程中的任务,如最佳模型搜索和超参数调整,加速了人工智能的开发。现有的 AutoML 系统通常需要技术专业知识来设置复杂的工具,这通常很耗时,需要大量的人工。因此,最近的研究开始利用大型语言模型 (LLM) 来减轻这种负担,并通过自然语言接口提高 AutoML 框架的可用性,使非专业用户能够构建自己的数据驱动解决方案。然而,这些方法通常只针对人工智能开发流程中的某个特定过程设计,并没有有效利用 LLM 的固有能力。本文提出了 AutoML-Agent,一个专为全流程 AutoML 量身定制的新型多智能体框架,即从数据检索到模型部署。AutoML-Agent 接收用户的任务描述,促进专业 LLM 智能体之间的协作,并提供可部署的模型。与现有工作不同,我们并没有设计一个单一的计划,而是引入了检索增强规划策略来增强探索,以搜索更优化的计划。我们还将每个计划分解为子任务(例如数据预处理和神经网络设计),每个子任务都由我们通过提示构建的专业智能体并行执行解决,使搜索过程更加高效。此外,我们提出了一种多阶段验证方法来验证执行结果,并指导代码生成 LLM 实现成功的解决方案。在使用 14 个数据集的七个下游任务上的大量实验表明,AutoML-Agent 在自动化完整 AutoML 过程方面取得了更高的成功率,在不同领域产生了具有良好性能的系统。