arXiv:2410.11502v3 宣告类型: replace-cross 摘要: 非在线模型导向优化(MBO)旨在使用一组固定且预先收集的设计及其相应的评分来识别最大化黑盒函数的设计。在非在线MBO中，一种常见方法是通过最小化均方误差(MSE)训练基于回归的代理模型，然后使用不同的优化器（例如梯度上升）在代理模型中找到最佳设计。然而，一个关键挑战是分布外错误的风险，即代理模型可能会过度估计评分，并误导优化器进入次优区域。先前的研究以各种方式尝试解决这一问题，例如使用正则化技术和集成学习来增强模型的鲁棒性，但这一问题仍未完全解决。在这篇论文中，我们提出，利用MSE训练的回归模型并不完全符合非在线MBO的主要目标，即选择有前途的设计而不是精确预测其评分。值得注意的是，如果代理模型能够根据候选设计的相对评分关系保持其顺序，它可以在没有精确预测的情况下生成最佳设计。为了验证这一点，我们进行了实验，比较了最终设计质量与MSE之间的关系，发现它们之间的相关性非常弱。相反，衡量保持顺序质量的度量与之显示出更强的相关性。基于这一观察，我们提出了一种排名模型的学习方法，利用排序学习技术根据相对评分优先选择有前途的设计。我们展示了排名损失上的泛化误差可以很好地被限制。跨不同任务的实证结果表明，我们提出的排名模型在性能上明显优于现有的20种方法。