LLM2D
深度学习预测人类大脑对增强和语义新颖视觉刺激反应的泛化性分析
Generalizability analysis of deep learning predictions of human brain responses to augmented and semantically novel visual stimuli
作者: Valentyn Piskovskyi, Riccardo Chimisso, Sabrina Patania, Tom Foulsham, Giuseppe Vizzari, Dimitri Ognibene
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.04497v1

摘要

本研究旨在探讨基于神经网络的方法作为框架,用于研究图像增强技术对视觉皮层激活的影响的可靠性和实用性。在一项初步研究中,我们准备了一组最先进的大脑编码模型,这些模型是从 2023 年 Algonauts 项目挑战赛 [16] 中排名前十的方法中选出的。我们分析了它们预测各种图像增强技术对神经反应影响的能力。鉴于获取实际数据由于脑成像程序的高成本而不可行,我们的研究建立在一系列实验的基础上。具体而言,我们分析了大脑编码器估计对各种增强进行的脑反应的能力,方法是评估对针对物体(即面部和文字)的增强进行的反应,这些物体对特定区域的影响是已知的。此外,我们研究了对训练期间未见过的物体进行的预测激活,探索了语义分布外刺激的影响。我们为构成所提框架的模型的泛化能力提供了相关证据,该框架似乎有望用于识别给定任务的最佳视觉增强滤波器、模型驱动的设计策略以及 AR 和 VR 应用。