LLM2D
ORLM: 一个用于自动优化建模的大规模模型训练可定制框架
ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling
作者: Chenyu Huang, Zhengyang Tang, Shixi Hu, Ruoqing Jiang, Xin Zheng, Dongdong Ge, Benyou Wang, Zizhuo Wang
发布日期: 4/7/2025
arXiv ID: oai:arXiv.org:2405.17743v5

摘要

arXiv:2405.17743v5 宣布类型: replace-cross 摘要:优化建模在将运筹学(OR)工具应用于解决实际问题中起着关键作用,但它们带来了挑战,并要求运筹学专家具备广泛的专门知识。随着大规模语言模型(LLMs)的出现,出现了新的机会来简化和自动化此类任务。然而,当前的研究主要依赖于闭源LLM,如GPT-4,以及大量的提示工程技术。这种依赖源于优化建模高质量训练数据集的稀缺,导致了成本高昂、处理时间延长以及隐私担忧。为了解决这些挑战,我们的工作是第一个提出了一条可行的道路,用于训练能够进行优化建模和开发求解器代码的开源LLM,最终能够更好地自动化优化建模和求解。特别地,我们设计了名为{\sc OR-Instruct}的半自动化数据合成框架,用于优化建模,它能够针对特定场景或模型类型进行定制化增强。此外,我们还引入了IndustryOR,这是第一个用于评估LLM解决实际OR问题的工业基准。我们使用合成数据(称为ORLMs,https://github.com/Cardinal-Operations/ORLM)训练了多个7B规模的开源LLM,这些LLM展示了显著增强的优化建模能力,并在NL4OPT、MAMO和IndustryOR基准测试中取得了竞争力的表现。另外,我们的实验还强调了扩展律和强化学习在进一步增强ORLM性能方面的潜力。论文还讨论了ORLM在实际工业应用中的工作流程和人机交互范式。