摘要
arXiv:2502.13606v1 Announce Type: cross
摘要:理解人类大脑中神经群体(或体素)的性质可以增进我们对人类感知和认知处理能力的理解,并有助于开发类脑计算机模型。最近使用深度神经网络(DNNs)的编码模型已经成功地预测了体素级的活动。然而,由于DNNs的黑箱性质,解释解释体素反应的性质仍然具有挑战性。为此,我们提出了LLM辅助视觉皮层描述(LaVCa)方法,这是一种数据驱动的方法,使用大型语言模型(LLMs)生成与体素选择性的图像相关的自然语言描述。通过将LaVCa应用于图像诱发的大脑活动,我们表明LaVCa生成的描述比之前提出的方法更准确地描述了体素选择性。此外,LaVCa生成的描述在体素间和体素内的细节方面比现有方法更定量地捕获了更多的详细性质。此外,对LaVCa生成的体素特定性质的详细分析揭示了感兴趣区域(ROIs)内视觉皮层内的精细功能分化,以及同时代表多个不同概念的体素。这些发现通过在整个视觉皮层中为各个体素分类提供了详细的描述,从而为人类的视觉表示提供了深刻的见解,同时突出了LLM基方法在理解大脑表示方面的潜力。请访问我们的网页 https://sites.google.com/view/lavca-llm/