LLM2D
脑-JEPA:基于梯度定位和时空掩码的脑动力学基础模型
Brain-JEPA: Brain Dynamics Foundation Model with Gradient Positioning and Spatiotemporal Masking
作者: Zijian Dong, Ruilin Li, Yilei Wu, Thuan Tinh Nguyen, Joanna Su Xian Chong, Fang Ji, Nathanael Ren Jie Tong, Christopher Li Hsian Chen, Juan Helen Zhou
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.19407v1

摘要

我们提出了 Brain-JEPA,一个基于联合嵌入预测架构 (JEPA) 的脑动力学基础模型。该开创性模型在微调后,在人口统计预测、疾病诊断/预后和特征预测方面取得了最先进的性能。此外,它在现成的评估(例如,线性探测)中表现出色,并展示了跨不同种族群体的优越泛化能力,显著优于之前的脑活动大型模型。Brain-JEPA 整合了两种创新技术:脑梯度定位和时空掩蔽。脑梯度定位为脑功能分区引入了功能坐标系,增强了不同感兴趣区域 (ROI) 的位置编码。时空掩蔽针对 fMRI 数据的独特特征,解决了异质时间序列补丁的挑战。这些方法提高了模型性能,并增进了我们对认知背后的神经回路的理解。总的来说,Brain-JEPA 为解决在 AI-神经科学界面建立脑功能坐标系和掩蔽脑活动的重大问题铺平了道路,并通过下游适应为脑活动分析设定了潜在的新范式。