arXiv:2504.08201v3 宣告类型: replace-cross 摘要: 近期研究表明，大规模的多动物模型是表征神经活动与行为之间关系的强大工具。然而，当前大规模的方法仅专注于从行为预测神经活动（编码）或从神经活动预测行为（解码），这限制了它们捕捉神经活动和行为之间的双向关系的能力。为了解决这一差距，我们引入了一个多模态多任务模型，该模型能够大规模同时进行神经编码和解码（NEDS）。我们方法的核心是新颖的多任务掩蔽策略，该策略交替进行神经掩蔽、行为掩蔽、同一模态内掩蔽和跨模态掩蔽。我们使用国际脑实验室（IBL）的重复站点数据集对方法进行预训练，该数据集包括83只动物在同一视觉决策任务中的记录。与其它大规模模型相比，我们在预训练后在新动物上进行微调，展示了NEDS在编码和解码方面都达到了最先进的性能。出乎意料的是，NEDS学习到的嵌入表现出 emergent 特性：即使没有显式的训练，它们也能高度预测每个记录中的大脑区域。总体而言，我们的方法朝着一个能无缝转换神经活动与行为的脑基础模型迈进了一步。