arXiv:2505.00598v2 宣告类型: replace-cross 摘要: 为了解决基因组建模中计算资源不足的挑战，我们提出了GERM，一种具有强大压缩性能和快速适应能力的基因组基础模型。GERM 在 DNABERT-2 等模型的基础上，通过消除阻碍低秩适应和后训练量化的小样本，同时提高了效率和鲁棒性。我们用受关联记忆模型启发的无异常机制替换了标准的注意力层。通过在预训练和微调过程中都去除异常值，这种方法加快了适应速度，减少了计算成本，并在可接受的损失范围内增强了量化鲁棒性。此外，我们还提出了GERM-T策略，该策略在无异常值框架下采用了小步连续学习方法，利用原始检查点以避免从头开始重新训练。实验证明，与基线模型相比，GERM 将微调性能提高了37.98%，量化性能提高了64.34%。此外，GERM 还将平均峰度降低了92.14%，将最大无穷范数降低了82.77%。与领先方法相比，GERM 一直提供了更优的性能，为资源受限环境下的基因组建模提供了一个实用的解决方案。代码可在 https://github.com/MAGICS-LAB/GERM 获取。