LLM2D
通过离群值去除实现快速和低成本的基因组基础模型
Fast and Low-Cost Genomic Foundation Models via Outlier Removal
作者: Haozheng Luo, Chenghao Qiu, Maojiang Su, Zhihan Zhou, Zoe Mehta, Guo Ye, Jerry Yao-Chieh Hu, Han Liu
发布日期: 5/2/2025
arXiv ID: oai:arXiv.org:2505.00598v1

摘要

arXiv:2505.00598v1 网络类型: cross 摘要: 我们提出了首个统一的基因组基础模型(GFMs)对抗攻击基准,名为GERM。与现有的GFMs基准不同,GERM提供了一个全面的评估框架,可以系统地评估GFMs对对抗攻击的脆弱性。在方法上,我们使用四种广泛采用的攻击算法和三种防御策略来评估五种最先进的GFMs的对抗鲁棒性。重要的是,我们的基准提供了一个易于访问且全面的框架,用于分析模型架构、量化方案和训练数据集对GFMs脆弱性的影响。实验上,基于变压器的模型对对抗扰动显示出更大的鲁棒性,这与HyenaDNA相比,强调了架构设计对脆弱性的影响。此外,对抗攻击经常针对生物上具有重要意义的基因组区域,这表明这些模型有效地捕获了有意义的序列特征。