摘要
从脑电波生成图像因其在理解脑信号如何编码视觉线索方面的潜力而受到越来越多的关注,这将推动脑机接口(BCI)系统的发展。大多数文献集中于 fMRI-to-Image 任务,因为 fMRI 具有高空间分辨率。然而,fMRI 是一种昂贵的脑成像模式,无法实现实时 BCI。另一方面,脑电图 (EEG) 是一种低成本、非侵入性和便携式的脑成像技术,使其成为未来实时应用的理想选择。然而,EEG 因其低空间分辨率以及对噪声和伪影的敏感性而面临着固有的挑战,这使得从 EEG 生成图像更加困难。在本文中,我们基于 ControlNet 适配器提出了一种简化的框架,通过 EEG 信号对潜在扩散模型 (LDM) 进行调节,以解决这些问题。我们对流行的基准进行了实验和消融研究,证明了所提出的方法优于其他最先进的模型。与这些方法不同的是,这些方法通常需要大量的预处理、预训练、不同的损失函数和字幕模型,我们的方法高效且简单,只需要最少的预处理和几个组件。代码将在发表后提供。