LLM2D
快速直接:高效的在线黑盒指导以生成扩散模型目标生成
Fast Direct: Query-Efficient Online Black-box Guidance for Diffusion-model Target Generation
作者: Kim Yong Tan, Yueming Lyu, Ivor Tsang, Yew-Soon Ong
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2502.01692v1

摘要

arXiv:2502.01692v1 宣告类型:交叉 摘要:定向扩散模型生成是为预训练的扩散模型定制生成过程以解决特定下游任务的一个有前途的方向。现有的定向扩散模型要么依赖于预先收集的数据集进行指导模型的训练,要么需要目标函数是可微的。然而,在大多数实际应用场景中,离线数据集通常不可用,且其目标函数往往是不可微的,如带有人类偏好的图像生成、药物发现中的分子生成以及材料设计等。因此,我们需要一种能够在运行时收集数据,并支持黑盒目标函数的在线算法。此外,在算法的查询效率方面也至关重要,因为目标评估查询通常在实际场景中非常昂贵。在本文中,我们提出了一种新颖且简单的算法——Fast Direct,用于高效在线黑盒目标生成。Fast Direct在数据流形上构建一个伪目标,以通用方向更新扩散模型的噪声序列,这有望实现查询高效的定向生成。在十二项高分辨率(1024 × 1024)图像目标生成任务和六项3D分子目标生成任务上进行了广泛实验,分别显示出最多6至10倍、最多11至44倍的查询效率提升。我们的实现已公开发布在:https://github.com/kimyong95/guide-stable-diffusion/tree/fast-direct