LLM2D
FEMBA:高效且可扩展的基于双向Mamba基础模型的EEG分析
FEMBA: Efficient and Scalable EEG Analysis with a Bidirectional Mamba Foundation Model
作者: Anna Tegon, Thorir Mar Ingolfsson, Xiaying Wang, Luca Benini, Yawei Li
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2502.06438v1

摘要

arXiv:2502.06438v1 Announce Type: cross 摘要:准确高效的脑电图(EEG)分析对于在长时间监测中检测癫痫和伪影至关重要,应用场景从医院诊断到可穿戴健康设备。稳健的EEG分析有可能大大改善患者护理。然而,传统的深度学习模型,尤其是基于Transformer的架构,受到其二次时间复杂度和内存复杂度的限制,使得它们在资源受限的环境中不太适用。为了解决这些挑战,我们提出了FEMBA(Foundational EEG Mamba + 单向架构),这是一种新型的自监督框架,通过双向状态空间建模为EEG分析建立了新的高效基准。与基于Transformer的模型不同,后者会引入二次时间复杂度和内存复杂度,FEMBA随着序列长度的增加呈线性扩展,使得处理延伸的EEG记录更加可扩展和高效。FEMBA在超过21,000小时的未标记EEG数据上进行了训练,并在三个下游任务上进行了微调,其性能与Transformer模型相当,但具有显著更低的计算成本。具体来说,它在TUAB上达到了81.82%的平衡准确率(0.8921 AUROC),在TUAR上达到了0.949 AUROC,而一个只有7.8M参数的变体也显示了在资源受限设备上的可行性。这些结果为临床和可穿戴应用中的可扩展、通用EEG分析铺平了道路,并突显了FEMBA在穿戴式应用中的潜力。