LLM2D
ELiSe:结构化循环神经网络中序列的高效学习
ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks
作者: Laura Kriener, Kristin V\"olk, Ben von H\"unerbein, Federico Benitez, Walter Senn, Mihai A. Petrovici
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2402.16763v2

摘要

行为可以被描述为由神经活动驱动的动作的时间序列。为了学习神经网络中复杂的序列模式,过去活动的记忆需要在比单个神经元活动弛豫时间长得多的时间尺度上持续存在。虽然循环网络可以产生这种长瞬态,但训练这些网络是一个挑战。通过误差传播进行学习赋予了 FORCE、RTRL 或 BPTT 等模型显著的功能优势,但以生物学上的可信度为代价。虽然储层计算通过仅学习读出权重来规避这个问题,但它不能很好地扩展到问题的复杂性。我们提出,皮层网络的两个突出结构特征可以缓解这些问题:在学习开始时存在某种网络支架,以及存在树突隔室以增强神经元信息存储和计算。我们由此产生的高效序列学习模型 (ELiSe) 基于这些特征,仅使用局部、始终开启且无相位突触可塑性来获取和重放复杂的非马尔可夫时空模式。我们在鸟鸣学习的模拟中展示了 ELiSe 的能力,并展示了其在参数化方面的灵活性,以及其对外部干扰的鲁棒性。