arXiv:2412.07236v2 宣布类型: 替换交叉 摘要：脑电图（EEG）是一种无创技术，用于测量和记录大脑的电活动，广泛应用于各种BCI和医疗保健应用中。早期的EEG解码方法依赖于监督学习，受到特定任务和数据集的限制，阻碍了模型性能和泛化能力。随着大规模语言模型的成功，有关EEG基础模型的研究日益增多。然而，这些研究仍然存在一些挑战：首先，现有的大多数EEG基础模型都采用了全面的EEG建模策略。它们一起建模所有EEG片段之间的时空依赖性，但却忽略了由于EEG信号的独特结构特性，这些时空依赖性是异质的。其次，现有的EEG基础模型在广泛的下游BCI任务中泛化能力有限，因为EEG数据的格式各不相同，这使得它们难以适应。为了解决这些问题，我们提出了一种名为CBraMod的新基础模型。具体而言，我们设计了一个交叉变压器作为骨干网络，以充分利用EEG信号的结构特性，通过两个并行的注意力机制分别建模时空依赖性。我们还利用了一种不对称条件位置编码方案，可以编码EEG片段的位置信息，并且可以轻松适应具有不同格式的EEG。CBraMod通过基于片段的掩盖EEG重构进行了预训练。我们在多达10个下游BCI任务（12个公开数据集）上评估了CBraMod。CBraMod在广泛的任务中取得了最先进的性能，证明了其强大的能力和泛化能力。源代码已在https://github.com/wjq-learning/CBraMod公开。