在复杂的听觉环境中，人类听觉系统具有非凡的能力，可以专注于特定的说话者，同时忽略其他说话者。本研究提出了一种名为 SWIM 的新模型，它是一种将短时窗卷积神经网络 (CNN) 与 Mamba 集成的模型，用于从脑电图 (EEG) 信号中识别听觉注意的轨迹（左或右），而无需依赖语音包络。SWIM 由两部分组成。第一部分是短时窗 CNN (SW$_\text{CNN}$)，它充当短期 EEG 特征提取器，并在广泛使用的 KUL 数据集的留一说话者外设置中实现了 84.9% 的最终准确率。这种改进归因于改进的 CNN 结构、数据增强、多任务训练和模型组合的使用。第二部分，Mamba，是一个序列模型，首次应用于听觉空间注意解码，以利用来自先前 SW$_\text{CNN}$ 时间步长的长期依赖关系。通过联合训练 SW$_\text{CNN}$ 和 Mamba，所提出的 SWIM 结构利用了短期和长期信息，并实现了 86.2% 的准确率，与之前的最先进结果相比，分类错误减少了 31.0%。源代码可在 https://github.com/windowso/SWIM-ASAD 获取。