LLM2D
脑电基础模型图适配器用于参数高效微调
Graph Adapter of EEG Foundation Models for Parameter Efficient Fine Tuning
作者: Toyotaro Suzumura, Hiroki Kanezashi, Shotaro Akahori
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.16155v1

摘要

基于脑电图 (EEG) 数据诊断精神疾病时,诸如 Transformer 等神经网络模型已被用于捕捉时间动态。此外,学习脑电图传感器之间的空间关系至关重要,为此通常使用图神经网络 (GNN)。然而,同时微调大型复杂神经网络模型以捕捉时间和空间特征会由于可训练参数数量的增加而导致计算成本增加。这导致用于下游任务的脑电图数据集可用性有限,使得有效微调大型模型极具挑战性。我们提出了一种参数高效微调 (PEFT) 方法 EEG-GraphAdapter (EGA) 来应对这些挑战。EGA 集成到预训练的时间骨干模型中,作为一个基于 GNN 的模块,并单独进行微调,同时保持骨干模型参数不变。这使得能够获取用于下游任务的脑电信号的空间表示,从而显著降低计算开销和数据需求。在针对重度抑郁症和异常检测的医疗保健相关下游任务上的实验评估表明,与骨干 BENDR 模型相比,我们的 EGA 将 F1 分数的性能提高了高达 16.1%。