arXiv:2503.22697v1 类型: cross 摘要: 解释神经机制如何将感觉体验转化为有意义的语义表示是认知神经科学中的一个基本挑战。虽然神经成像已经描绘出一个分布式的语义网络，但语义内容的格式及其神经编码仍然未知，尤其是在针对复杂且自然刺激时。传统的脑解码主要集中在视觉重建上，这主要捕捉低级感知特征，而忽略了指导人类认知的更深层次的语义核心。在这里，我们通过直接将fMRI信号解码为所观看自然图像的文本描述，引入了一个范式的转变。我们的新型深度学习模型，在没有视觉输入的情况下进行训练，实现了最先进的语义解码性能，生成有意义的标题，捕捉复杂场景的核心语义内容。神经解剖学分析揭示了较高层次的视觉区域，包括MT+、背侧视觉皮层和下顶叶皮层，在这一语义转化中的关键作用。类别特异性解码进一步表明了对于语义维度如有无生命和运动的复杂的神经表示。基于文本的解码方法为我们提供了一个比视觉重建更直接和可解释的窗口，深入理解大脑的语义编码，并提供了探索复杂语义处理神经基础的强大新方法，有助于深化对分布式语义网络的理解，并可能启发受脑启发的语言模型。