LLM2D
基于模型的优化与结构化变压器
Cliqueformer: Model-Based Optimization with Structured Transformers
作者: Jakub Grudzien Kuba, Pieter Abbeel, Sergey Levine
发布日期: 2/7/2025
arXiv ID: oai:arXiv.org:2410.13106v3

摘要

arXiv:2410.13106v3 宣告类型: replace-cross 摘要:大型神经网络在预测任务中表现出色,但在应用于设计问题,如蛋白质工程或材料发现时,需要解决离线模型导向优化(MBO)问题。虽然预测模型可能不能直接转化为有效的设计,但最近的MBO算法结合了强化学习和生成建模方法。同时,理论工作表明,利用目标函数的结构可以增强MBO性能。我们提出了Cliqueformer,这是一种基于转换器的架构,它通过功能性图形模型(FGM)学习黑盒函数的结构,无需依赖显式的保守方法来解决分布偏移问题。在化学和遗传设计任务等多个领域,Cliqueformer在与现有方法的比较中表现出更出色的性能。