arXiv:2409.07480v3 宣告类型: replace-cross 摘要：多模态语言模型已经在表示学习方面取得了突破，但在功能脑数据领域用于病理检测方面仍处于未探索状态。本文首次提出了基于临床报告和15000份脑电图（EEG）训练的语言-脑电图模型（ELM）。我们提出结合这一新颖领域中的多模态对齐，采用时间序列裁剪和文本分割，使基于多重实例学习的扩展能够缓解无关EEG或文本片段之间的对齐问题。与仅基于EEG的模型相比，我们的多模态模型在四项评估中显著提高了病理检测的性能，并首次实现了零样本分类以及神经信号和报告的检索。总之，这些结果突显了ELMs的潜力，标志着临床应用中的显著进展。