LLM2D
Mol-LLM:增强图利用的通才分子LLM
Mol-LLM: Generalist Molecular LLM with Improved Graph Utilization
作者: Chanhui Lee, Yuheon Song, YongJun Jeong, Hanbum Ko, Rodrigo Hormazabal, Sehui Han, Kyunghoon Bae, Sungbin Lim, Sungwoong Kim
发布日期: 2/6/2025
arXiv ID: oai:arXiv.org:2502.02810v1

摘要

arXiv:2502.02810v1 宣告类型:交叉学科 摘要:近年来,大型语言模型(LLMs)的进步激发了开发适用于分子任务的通用LLMs的研究。尽管已有研究证明了微调后的LLMs可以在基准测试中取得令人印象深刻的性能,但由于缺乏对分子结构的基本理解,这些模型还远不是真正的通用分子LLMs。具体而言,当给定分子任务指令时,使用简单的下一个标记预测训练的LLMs会对原始分子和负向破坏的分子赋予相似的概率分数,暴露了它们缺乏对准确且通用分子LLMs至关重要的分子结构理解。为了克服这一局限性并获得真正的通用分子LLMs,我们提出了一种基于全面的多模态指令调优以及选定和拒绝图的分子结构偏好优化的新型多模态训练方法。在各种分子基准测试中,所提出的通用分子LLM(称为Mol-LLM)在大多数任务上实现了通用LLM中的最先进技术性能,同时超越或可与最先进的专业LLMs媲美。此外,Mol-LLM还在反应预测任务上展示了卓越的泛化性能,表明了分子结构理解在泛化视角中的效果。