arXiv:2502.01692v2 通知类型: 交叉 摘要: 指导扩散模型生成是一个有望为预训练扩散模型定制生成过程以应对特定下游任务的方向。现有的指导扩散模型要么依赖于使用预先收集的数据集对指导模型进行训练，要么需要目标函数是可微分的。然而，在大多数实际任务中，离线数据集往往是不可用的，它们的目标函数通常也不是可微分的，例如带有人类偏好的图像生成、药物发现中的分子生成和材料设计。因此，我们需要一种在线算法，能够在运行时收集数据并支持黑盒目标函数。此外，算法的查询效率也非常关键，因为在实际场景中，查询的目标函数评估往往是非常昂贵的。在本文中，我们提出了一个新颖且简单的算法——Fast Direct，用于高效的在线黑盒目标生成。我们的Fast Direct在数据流形上构建一个伪目标，以通用方向更新扩散模型的噪声序列，有望实现查询高效的指导生成。在十二个高分辨率（1024×1024）图像目标生成任务和六个3D分子目标生成任务上的广泛实验表明，与传统方法相比，我们的方法分别实现了每查询最多6倍到10倍以及每查询最多11倍到44倍的查询效率提升。我们的实现已公开可用：https://github.com/kimyong95/guide-stable-diffusion/tree/fast-direct