摘要
将神经生理信号解码为语言是脑机接口(BCI)应用中的一个重要研究方向。脑电图(EEG)以其非侵入性、易用性和成本效益而闻名,已成为该领域的一种流行方法。然而,现有的EEG-to-Text解码方法面临着巨大的挑战,包括 EEG 记录和原始文本之间的巨大领域差距、固有的数据偏差以及小的封闭词汇量。在本文中,我们提出了 SEE:语义对齐的 EEG-to-Text 翻译,这是一种旨在改进 EEG-to-Text 解码的新方法,它将两个模块无缝地集成到预训练的 BART 语言模型中。这两个模块包括:(1)跨模态码本,它学习跨模态表示以增强特征整合并减轻领域差距,以及(2)语义匹配模块,它充分利用预训练的文本表示来对从 EEG-Text 对中提取的多模态特征进行对齐,同时考虑由假阴性引起的噪声,即来自具有相似语义意义的不同 EEG-Text 对的数据。在苏黎世认知语言处理语料库 (ZuCo) 上的实验结果证明了 SEE 的有效性,它增强了准确的 EEG-to-Text 解码的可行性。