摘要
arXiv:2504.20115v1 交叉公告类型
摘要:机器学习(ML)研究通过学术论文传播,这些论文包含丰富的多模态内容,包括文本、图表和表格结果。然而,将这些多模态元素转化为可执行代码依然是一项具有挑战性和耗时的过程,需要大量的ML专业知识。我们引入了“论文到代码”(P2C),这是一种新颖的任务,可以将科学出版物中的多模态内容转化为完全可执行的代码仓库,超越了现有的代码生成框架,后者仅将文本描述转化为孤立的代码片段。为自动化P2C过程,我们提出了基于大型语言模型的多智能体框架AutoP2C,该框架处理研究论文中的文本和视觉内容,生成完整的代码仓库。具体来说,AutoP2C包含四个阶段:(1)从现有代码库中提取仓库蓝图,(2)多模态内容解析,将文本、公式和图表中的信息结合起来,(3)层次任务分解,以实现结构化的代码生成,以及(4)迭代的反馈驱动调试,以确保功能性和性能。在八篇研究论文的基准测试上证明了AutoP2C的有效性,它可以成功为八篇论文生成可执行的代码仓库,而OpenAI-o1或DeepSeek-R1只能为一篇论文生成可运行的代码。代码可在https://github.com/shoushouyu/Automated-Paper-to-Code找到。