arXiv:2502.06789v1 类别：交叉学科 摘要：多个场景需要优化非凸的黑盒函数，这些函数通常是难以评估的噪声函数且没有解析表达式，因此其梯度不可用。例如，机器学习模型的超参数调优问题。贝叶斯优化是一类具有前沿性能的方法，它在实际场景中解决了这些问题。它使用一个迭代过程，通过使用目标函数的拟似然代理模型（通常为高斯过程）来构建黑盒函数的后验预测分布。基于这一后验预测分布所提供的信息，贝叶斯优化计算了一个获取函数，该获取函数代表了对于目标函数的优化来说，在下一个迭代中评估该点的效用，对于输入空间中的每一个点都是如此。 本文是对信息理论获取函数的综述，这类获取函数的性能通常优于其他获取函数。还详细描述了信息理论的主要概念，使得读者能够了解为什么信息理论获取函数在贝叶斯优化中表现出色，以及在难以处理的情况下如何近似它们。我们还讨论了如何将信息理论获取函数适应于复杂优化场景，如多目标、受约束、非近视、多保真、并行和异步设置，并提供了进一步的研究方向。