LLM2D
生物启发表示中的模ularity驱动因素并非独立性,而是范围
Range, not Independence, Drives Modularity in Biologically Inspired Representations
作者: Will Dorrell, Kyle Hsu, Luke Hollingsworth, Jin Hwa Lee, Jiajun Wu, Chelsea Finn, Peter E Latham, Tim EJ Behrens, James CR Whittington
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2410.06232v4

摘要

arXiv:2410.06232v4 宣告类型:替换交叉 摘要:为什么生物和人工神经元有时会模块化,每个神经元编码单一有意义的变量,有时则会纠缠多个变量的表示?在这项工作中,我们发展了一种关于受生物启发的网络——即非负且能效高的网络——在其源变量(source)表示中进行模块化的理论。我们推导出在最优受生物启发的线性自编码器中,何时神经元会模块化其源变量表示的必要和充分条件。我们的理论适用于任何数据集,远超出之前研究中仅考虑统计独立性的范围。相反,我们表明,如果源变量的支持是“充分分散”的,则源变量会模块化。基于这一理论,我们在各种针对数据分布如何影响非线性前馈和递归神经网络(在监督和无监督任务中训练)进行模块化表示的研究中提取并验证了预测结果。此外,我们还将这些想法应用到神经科学数据中,展示了范围独立性可以用来理解在表面上看似矛盾的实验中空间和奖励信息的混合或模块化。进一步地,我们利用这些结果提出了混合选择性起源的替代理论,超越了当前灵活非线性分类主流理论之外。总之,我们的理论为神经活动模块化提供了精确的条件,提供了在大脑和机器中诱导和阐明模块化表示的工具。