LLM2D
差分隐私多模态拉普拉斯丢弃(DP-MLD)用于脑电图表征学习
Differentially Private Multimodal Laplacian Dropout (DP-MLD) for EEG Representative Learning
发布日期: 9/23/2024
arXiv ID: oai:arXiv.org:2409.13440v1

摘要

最近,多模态脑电图(EEG)学习在疾病检测中显示出巨大的潜力。与此同时,由于法律和伦理问题,确保临床研究中的隐私变得越来越重要。差分隐私(DP)因其清晰的解释和易于实施而被广泛采用作为隐私保护方案。尽管在DP下提出了许多方法,但由于所考虑的模型和信号数据的复杂性,尚未对多模态EEG数据进行广泛研究。本文提出了一种新颖的差分隐私多模态拉普拉斯丢弃(DP-MLD)方案,用于多模态EEG学习。我们的方法提出了一种新颖的多模态代表性学习模型,通过语言模型将EEG数据处理为文本,通过视觉变换器将其他模态数据处理为图像,并结合精心设计的交叉注意力机制,有效提取和整合跨模态特征。为了实现DP,我们设计了一种新颖的自适应特征级拉普拉斯丢弃方案,其中在给定的隐私预算内动态优化随机分配和性能。在帕金森病(PD)中冻结步态(FoG)的开源多模态数据集上的实验中,我们提出的方法在分类准确性上显示出约4%的改进,并在DP下的多模态EEG学习中达到了最先进的性能。