LLM2D
大规模神经编码与解码
Neural Encoding and Decoding at Scale
作者: Yizi Zhang, Yanchen Wang, Mehdi Azabou, Alexandre Andre, Zixuan Wang, Hanrui Lyu, The International Brain Laboratory, Eva Dyer, Liam Paninski, Cole Hurwitz
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2504.08201v1

摘要

arXiv:2504.08201v1 Announce Type: cross 摘要:近期的研究已经证明,大规模多动物模型是表征神经活动与行为之间关系的强大工具。然而,当前的大规模方法仅专注于预测神经活动从行为(编码)或从神经活动预测行为(解码),限制了它们捕获神经活动与行为之间双向关系的能力。为了解决这一差距,我们引入了一种多模态多任务模型,该模型能够在大规模下同时实现神经编码和解码(NEDS)。我们方法的核心是一种新颖的多任务遮掩策略,该策略交替进行神经遮掩、行为遮掩、模态内遮掩和模态间遮掩。我们在国际大脑实验室(IBL)重复站点数据集上预训练了我们的方法,该数据集包括83只动物在同一视觉决策任务中的记录。与其他大规模模型相比,我们在多动物数据上预训练NEDS,并针对新动物进行微调,结果显示NEDS在编码和解码方面均取得了最先进的性能。令人惊讶的是,NEDS学习到的嵌入表现出新兴特性:即使在没有显式训练的情况下,它们也能高度预测每条记录中的大脑区域。总之,我们的方法是建立能够无缝转换神经活动与行为的脑基础模型的一大步。