大型语言模型 (LLM) 在自动生成和优化（元）启发式算法方面展现出巨大的潜力，使其成为启发式优化任务中的宝贵工具。然而，LLM 在微调生成的算法的超参数方面通常效率低下，往往需要过多的查询，从而导致高昂的计算和财务成本。本文提出了一种新颖的混合方法 LLaMEA-HPO，它将开源的 LLaMEA（大型语言模型进化算法）框架与循环中的超参数优化 (HPO) 程序集成在一起。通过将超参数调整卸载到 HPO 程序，LLaMEA-HPO 框架允许 LLM 专注于生成新颖的算法结构，减少所需的 LLM 查询次数，并提高优化过程的整体效率。我们通过在线装箱问题、黑盒优化和旅行商问题等基准问题对提出的混合框架进行了实证验证。我们的结果表明，LLaMEA-HPO 在显著降低计算成本的同时，实现了与现有 LLM 驱动框架相比更好或相当的性能。这项工作突出了在 LLM 驱动的代码优化中将算法创新和结构代码搜索与参数调整分离的重要性，并提供了一种可扩展的方法来提高基于 LLM 的代码生成的效率和有效性。