arXiv:2502.04829v1 宣告类型: cross 摘要: 黑箱算法旨在优化函数，而无需依赖其底层的分析结构或梯度信息，这使得它们在梯度不可用或难以计算时变得至关重要。传统的黑箱优化（BBO）问题解决方法主要依赖于非参数模型，并且难以扩展到大规模输入空间。与此相反，使用神经估算器建模函数并通过反向传播获取梯度信号的参数化方法可能会遭受显著的梯度误差。近期的一种替代方法，显式梯度学习（EGL），直接使用一阶泰勒近似学习梯度，已经在参数化和非参数化方法中展现出更优的性能。在本文中，我们提出了两种新的梯度学习变体来应对高维、复杂且高度非线性问题带来的健壮性挑战。乐观梯度学习（OGL）引入了一种偏向于函数图景中较低区域的偏差，而高阶梯度学习（HGL）则通过引入二阶泰勒修正来提高梯度准确性。我们将这些方法合并成统一的OHGL算法，并在合成的COCO数据集上实现了目前最先进的（SOTA）性能。此外，我们展示了OHGL在高维实际机器学习（ML）任务中的应用，如对抗训练和代码生成。我们的结果突显了OHGL生成更强候选的能力，为解决高维、非线性优化挑战的机器学习研究人员和实践者提供了一个有价值的工具。