LLM2D
基于模型的结构化变压器优化方法
Cliqueformer: Model-Based Optimization with Structured Transformers
作者: Jakub Grudzien Kuba, Pieter Abbeel, Sergey Levine
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2410.13106v2

摘要

arXiv:2410.13106v2 通知类型: 交叉替换 摘要:大型神经网络在预测任务中表现出色,但在应用于设计问题,如蛋白质工程或材料发现时,需要解决离线模型导向优化(MBO)问题。虽然预测模型可能不能直接转化为有效的设计,但最近的MBO算法结合了强化学习和生成模型方法。同时,理论工作表明,利用目标函数的结构可以提高MBO性能。我们提出了Cliqueformer,这是一种基于变换器的架构,通过功能性图形模型(FGM)学习黑盒函数的结构,无需依赖显式的保守方法来应对分布偏移。在化学和基因设计等多种领域中,Cliqueformer的性能优于现有方法。