LLM2D
大规模神经编码与解码
Neural Encoding and Decoding at Scale
作者: Yizi Zhang, Yanchen Wang, Mehdi Azabou, Alexandre Andre, Zixuan Wang, Hanrui Lyu, The International Brain Laboratory, Eva Dyer, Liam Paninski, Cole Hurwitz
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.08201v2

摘要

arXiv:2504.08201v2 宣布类型: replace-cross 摘要:近期的工作表明,大规模的多动物模型是表征神经活动与行为之间关系的强大工具。然而,目前的大规模方法仅专注于从行为预测神经活动(编码)或从神经活动预测行为(解码),限制了它们捕获神经活动与行为之间的双向关系的能力。为了弥合这一差距,我们介绍了一种多模态、多任务模型,该模型能够大规模同时进行神经编码和解码(NEDS)。我们方法的核心是一个新颖的多任务遮罩策略,该策略交替进行神经遮罩、行为遮罩、模态内遮罩和跨模态遮罩。我们在国际大脑实验室(IBL)重复站点数据集上预训练了我们的方法,该数据集包括83只动物在同一视觉决策任务中的记录。与现有的其他大规模模型相比,我们展示了当NEDS在多动物数据上预训练然后在新动物上微调时,它在编码和解码方面均实现了最先进的性能。令人惊讶的是,NEDS学习到的嵌入表现出一些新兴特性:即使在没有显式训练的情况下,它们对每个记录中的大脑区域也具有很高的预测性。总体而言,我们的方法朝着神经活动与行为之间无缝转换的大脑基础模型迈出了一步。