LLM2D
监督预训练材料属性预测
Supervised Pretraining for Material Property Prediction
作者: Chowdhury Mohammad Abid Rahman, Aldo H. Romero, Prashnna K. Gyawali
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.20112v1

摘要

arXiv:2504.20112v1 宣布类型: cross 摘要:准确的材料性质预测有助于发现具有定制功能的新材料。深度学习模型在捕捉结构-性质关系方面已经展示了卓越的准确性和灵活性。然而,这些模型通常依赖于监督学习,这需要大量注释良好的数据集,这是一个昂贵且耗时的过程。自我监督学习(SSL)通过在大型未标注数据集上进行预训练,开发出可以在材料性质预测中进行微调的基础模型,提供了一种有前景的替代方案。在本文中,我们提出了监督预训练的方法,其中可用的类别信息充当代理标签,以引导学习,即使下游任务涉及不相关的材料性质。我们评估了这一策略在两个最先进的SSL模型上的表现,并引入了一种新的监督预训练框架。为了进一步增强表示学习,我们提出了一种基于图的扩增技术,该技术通过注入噪声来提高鲁棒性,而不对材料图进行结构变形。由此产生的基础模型被用于六项具有挑战性的材料性质预测任务,与基线模型相比,在平均绝对误差(MAE)上取得了显著的性能提升,范围从2%到6.67%的改善,并在材料性质预测中建立了新的基准。这项研究代表了在材料性质预测中首次探索使用代理标签的监督预训练,推进了该领域的研究方法和应用。