LLM2D
批量贝叶斯优化:基于期望子空间改进
Batch Bayesian Optimization via Expected Subspace Improvement
作者: Dawei Zhan, Zhaoxi Zeng, Shuoxiao Wei, Ping Wu
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.16206v1

摘要

将贝叶斯优化扩展到批量评估可以使设计者最大限度地利用并行计算技术。大多数现有的批量方法使用人工函数来模拟顺序贝叶斯优化算法的行为,以选择一批点进行并行评估。然而,随着批量大小的增加,这些人工函数引入的累积误差迅速增加,这会显著降低算法的优化效率。在这项工作中,我们提出了一种简单有效的方法来将贝叶斯优化扩展到批量评估。与现有的批量方法不同,新方法的思想是从原始问题的子空间中抽取一批子空间,并从每个子空间中选择一个采集点。为此,我们提出了期望子空间改进准则来衡量候选点在一个特定子空间内可以达到的改进量。通过同时优化这些期望子空间改进函数,我们可以得到一批用于昂贵评估的查询点。数值实验表明,与顺序贝叶斯优化算法相比,我们提出的方法可以实现近线性加速,并且与八种最先进的批量算法相比具有很强的竞争力。这项工作为批量贝叶斯优化提供了一种简单而有效的方法。我们方法的Matlab实现可在https://github.com/zhandawei/Expected_Subspace_Improvement_Batch_Bayesian_Optimization获取。