摘要
arXiv:2504.19636v2 Announce Type: replace
摘要:大规模语言模型(LLMs)在算法设计方面展现了显著潜力。然而,在将其集成到迭代算法搜索框架中时,基础的适应度景观——这对理解搜索行为至关重要——仍被严重忽视。本文中,我们使用图论方法分析了LLM辅助算法搜索(LAS)的适应度景观,其中节点表示算法,边表示它们之间的转换。我们在六项算法设计任务和六种常用的大规模语言模型上进行了全面评估。研究发现,LAS景观具有高度的多模态性和崎岖性,特别是在组合优化任务中尤为明显,在任务和大规模语言模型之间存在明显的结构变化。例如,在启发式设计任务中,表现出色的算法较为密集地聚集在一起,而在符号回归任务中,则显示出稀疏、散乱的分布。此外,我们展示了种群规模如何影响探索-利用权衡以及精英算法的演变轨迹。这些见解不仅推动了对LAS景观的理解,还为设计更有效的LAS方法提供了实用指导。