神经影像技术，包括功能性磁共振成像 (fMRI) 和脑电图 (EEG)，在检测各种脑部疾病的功能异常方面已显示出巨大潜力。然而，现有研究往往集中于单一领域或模态，忽略了来自 fMRI 和 EEG 多个领域的有价值的互补信息，而这些信息对于全面呈现疾病病理至关重要。这种局限性给有效利用从这些模态中提取的协同信息带来了挑战。为了解决这个问题，我们提出了一种多模态跨域自监督预训练模型 (MCSP)，这是一种新颖的方法，利用自监督学习来协同空间、时间和频谱域的多模态信息。我们的模型采用跨域自监督损失，通过实施特定于域的数据增强和对比损失来弥合域差异，增强特征区分。此外，MCSP 引入了跨模态自监督损失，以利用 fMRI 和 EEG 的互补信息，促进域内知识蒸馏并最大限度地提高跨模态特征收敛。我们构建了一个大规模的预训练数据集，并通过利用提出的自监督范式来预训练 MCSP 模型，以充分利用多模态神经影像数据。通过全面的实验，我们证明了我们的模型在多个分类任务上的卓越性能和泛化能力。我们的研究在 fMRI 和 EEG 的融合方面取得了重大进展，标志着跨域特征的新型整合，这丰富了现有的神经影像研究领域，尤其是在精神疾病研究的背景下。