LLM2D
可执行的功能抽象:推断生成性程序以解决高级数学问题
Executable Functional Abstractions: Inferring Generative Programs for Advanced Math Problems
作者: Zaid Khan, Elias Stengel-Eskin, Archiki Prasad, Jaemin Cho, Mohit Bansal
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.09763v1

摘要

arXiv:2504.09763v1 命题类型: 横跨多个领域 摘要:科学家经常从特定问题实例中推断出抽象的程序,并使用这些抽象生成新的相关实例。例如,编码系统形式规则和属性的程序在诸如RL(过程环境)和物理学(模拟引擎)等领域中非常有用。这些程序可以被视为根据其参数化执行以产生不同输出的功能函数(例如,网格世界配置或初始物理条件)。我们引入术语“EFA(可执行功能抽象)”来表示用于数学问题的此类程序。EFA类型的结构已被证明对于数学推理很有用,尤其是作为压力测试模型的问题生成器。然而,先前的工作主要局限于对简单规则易于编码的初等数学问题的抽象,而生成复杂的数学EFA则需要手工工程。我们探讨了自动构建复杂数学问题的EFA的方法。我们将自动构建EFA的任务操作化为一项程序合成任务,并开发了EFAGen,它基于种子数学问题及其逐步解决方案来条件化LLM生成与种子问题和解决方案类别相一致的候选EFA程序。此外,我们以可执行单元测试的形式形式化了任何有效的EFA必须具备的属性,并展示了如何使用这些测试作为验证奖励来训练LLM成为更好的EFA撰写者。我们通过EFAGen构建的EFA表现合理,能够忠实于种子问题,产生可学习的问题变种,并且EFAGen可以在多个多样化的比赛级数学问题来源中推断EFA。最后,我们展示了模型撰写的EFA的下游用途,例如找到对学习者来说更难或更容易解决的问题变种,以及数据生成。