LLM2D
大型语言模型辅助自动化算法搜索的fitness景观
Fitness Landscape of Large Language Model-Assisted Automated Algorithm Search
作者: Fei Liu, Qingfu Zhang, Xialiang Tong, Mingxuan Yuan, Kun Mao
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.19636v1

摘要

arXiv:2504.19636v1 公告类型: 新 摘要: 大型语言模型(LLMs)在算法设计方面展现了显著的潜力。然而,在将其整合到用于迭代算法搜索的搜索框架中时,决定搜索行为的潜在适应度景观——这一关键方面仍然未被充分探索。在本文中,我们使用图为基础的方法来说明和分析大型语言模型辅助算法搜索(LLM-assisted Algorithm Search, LAS)的适应度景观,其中节点表示算法,边表示它们之间的转换。我们在六个算法设计任务和六个常用的大型语言模型上进行了广泛的评估。我们的研究发现,LAS的景观具有高度的多模态性和不规则性,尤其是在组合优化任务中,不同任务和大型语言模型之间的结构变异明显。例如,在启发式设计任务中,表现出色的算法紧密集聚在一起,而在符号回归任务中,则显示为稀疏、散开的分布。此外,我们展示了种群大小如何影响探索与利用之间的权衡以及精英算法的演变轨迹。这些洞察不仅深化了我们对LAS景观的理解,还为设计更有效的LAS方法提供了实用的指导。