LLM2D
ResearchCodeAgent:一种用于研究方法自动化编码的LLM多代理系统
ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies
作者: Shubham Gandhi, Dhruv Shah, Manasi Patwardhan, Lovekesh Vig, Gautam Shroff
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.20117v1

摘要

arXiv:2504.20117v1 Announce Type: 跨领域 摘要:在这篇论文中,我们介绍了ResearchCodeAgent,这是一种新颖的多智能体系统,利用大规模语言模型(LLMs)智能体来自动化机器学习文献中描述的研究方法的编码过程。该系统解决了高层面研究概念与其实际实现之间的差距,允许研究人员自动生成基准测试或在文献中指定的现有方法上构建的代码,该方法具有部分或完整的起始代码。ResearchCodeAgent采用了灵活的智能体架构和一套全面的动作集,使其能够与研究环境进行上下文相关的交互。系统包含了一个动态规划机制,利用短期和长期记忆来迭代地调整其方法。我们在数据增强、优化和数据批处理这三个具有不同任务复杂度的不同部分的机器学习任务上评估了ResearchCodeAgent。我们的结果表明该系统的有效性和泛化能力,生成的代码中有46.9%高质量且无错误,25%显示了相对于基线实现的性能改进。实证分析显示,与手动实现相比,平均代码编写时间减少了57.9%。对于更复杂的任务,我们观察到更高的收益。ResearchCodeAgent代表了一个在研究实施流程自动化方面的重要进展,可能加速机器学习研究的步伐。