LLM2D
使用大型语言模型的多目标启发式演化
Multi-objective Evolution of Heuristic Using Large Language Model
作者: Shunyu Yao, Fei Liu, Xi Lin, Zhichao Lu, Zhenkun Wang, Qingfu Zhang
发布日期: 2/5/2025
arXiv ID: 2409.16867

摘要

arXiv:2409.16867v2 宣告类型:替换 摘要:启发式算法常用于解决各种搜索和优化问题。设计启发式算法通常需要结合领域知识进行繁琐的手动构建。最近的研究将大型语言模型(LLMs)引入自动启发式搜索中,利用它们强大的语言和编码能力。然而,现有研究主要以在目标问题上的最优性能为主要目标,忽视了诸如效率和扩展性等在实践中至关重要的其他标准。为解决这一问题,我们提出将启发式搜索建模为一个多目标优化问题,并考虑引入除最优性能之外的额外实际标准。由于搜索空间的复杂性,传统多目标优化方法难以有效处理基于LLMs的多目标启发式搜索。我们提出了第一个基于LLMs的多目标启发式搜索框架——多目标进化启发式(MEoH),该框架以零样本方式集成LLMs,生成能够满足多个设计标准的非支配集启发式算法。我们设计了一种新的支配差异机制,用于有效的种群管理和选择,该机制既考虑了搜索空间中的代码差异,又考虑了目标空间中的支配关系。MEoH 在两个著名的组合优化问题:在线背包问题(BPP)和旅行商问题(TSP)中得到了验证。结果显示,在一次运行中自动生成了多种优质启发式算法,提供了比现有方法更多的权衡选项。同时,在性能上达到了竞争性的或更优的结果,效率提高了10倍。此外,我们还观察到,多目标搜索为启发式算法设计提供了新的洞察,并促使发现了多种多样的启发式算法。