arXiv:2409.12454v1 公告类型: 交叉 摘要: 脑电图(EEG)是神经科学和临床应用中测量和记录脑活动的重要工具，但其潜力受到信号异质性、低信噪比和有限标注数据集的限制。本文提出了一种名为FoME(脑电图基础模型)的新方法，使用自适应时间横向注意力缩放来解决上述挑战。FoME在一个包含1.7TB头皮和颅内EEG记录的多样化数据集上进行了预训练，包含7.45亿个参数，训练了1,096,000步。我们的模型引入了两项关键创新:时间-频率融合嵌入技术和自适应时间横向注意力缩放(ATLAS)机制。这些组件协同捕捉复杂的时频EEG动态，使FoME能够适应不同数据流中的变化模式，并促进稳健的多通道建模。在四个下游任务中的评估显示，FoME在分类和预测应用中表现优异，始终达到最先进的结果。总之，FoME为EEG分析建立了一个新的范式，提供了一个多功能的基础，推动了神经科学及相关领域的脑机接口、临床诊断和认知研究。我们的代码将在https://github.com/1061413241/FoME上提供。