arXiv:2412.07236v5 宣布类型: 替换交叉 摘要：脑电图（EEG）是一种无创技术，用于测量和记录脑电活动，广泛应用于各种BCI和医疗保健应用中。早期的EEG解码方法依赖于监督学习，受到特定任务和数据集的限制，阻碍了模型的性能和泛化能力。随着大型语言模型的成功，越来越多的研究开始关注EEG基础模型。然而，这些研究仍然存在一些挑战：首先，大多数现有的EEG基础模型采用全EEG建模策略。这种方法同时模型化所有EEG片段之间的空间和时间依赖性，但忽略了由于EEG信号的独特结构特征，空间和时间依赖性是异质的。其次，现有的EEG基础模型在广泛的下游BCI任务上具有有限的泛化能力，因为EEG数据具有不同的格式，使其难以适应。为了解决这些挑战，我们提出了一种新的基础模型CBraMod。具体而言，我们设计了一个交叉交叉变换器作为骨干，利用EEG信号的独特结构特征，通过两个并行的注意力机制分别建模空间和时间依赖性。我们还利用了一个非对称条件位置编码方案，可以编码EEG片段的位置信息，并且易于适应不同格式的EEG。CBraMod通过基于片段的掩码EEG重建进行预训练。我们在多达10个下游BCI任务（12个公开数据集）上对CBraMod进行了评估。CBraMod在广泛的任务中取得了最先进的性能，证明了其强大的能力和泛化能力。源代码可在https://github.com/wjq-learning/CBraMod公开获取。