摘要
arXiv:2504.21047v1 类型: cross
摘要:生物神经网络既受到代际进化的塑造,又受到个体在其一生中的学习影响,而标准的人工神经网络则经历了一次大型的训练过程,没有继承性的约束。在本初步工作中,我们提出了一个框架,将这一重要的代际维度纳入其中——一个“外环”进化过程塑造了一个“内环”学习过程——从而使人工网络更好地模仿生物体中进化和个体学习的影响。聚焦于语言,我们在该模型之前引入了一个“模型连接组”,然后将其暴露在一个规模上类似发育过程的1亿 tokens 的语料库中。与两个高度匹配的控制模型相比,我们展示了连接组模型在自然语言处理任务以及人类行为和脑数据的对齐上表现更好或相当。这些发现表明,一个模型连接组在数据量有限的环境下作为学习的一种有效的先验——缩小了一代人工模型与生物进化神经网络之间的差距。