LLM2D
稠密联想记忆中的序列学习
Sequential Learning in the Dense Associative Memory
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15729v1

摘要

序列学习涉及按顺序学习任务,这对大多数神经网络来说是一个挑战。生物神经网络经常克服序列学习挑战,甚至能够在任务之间进行前向和后向知识转移。人工神经网络通常完全无法在任务之间转移性能,并且经常在先前任务上出现性能下降或灾难性遗忘。由于其生物联系和灵感,联想记忆模型已被用来研究生物神经网络和人工神经网络之间的差异,其中 Hopfield 网络可能是研究最多的模型。密集联想记忆或现代 Hopfield 网络是对 Hopfield 网络的推广,允许更大的容量和原型学习行为,同时仍然保留联想记忆结构。我们研究了密集联想记忆在序列学习问题中的性能,并在网络中对各种序列学习技术进行了基准测试。我们对序列学习空间进行了大量回顾,特别关注 Hopfield 网络和联想记忆,并详细描述了我们实施的技术。我们还将经典联想记忆和密集联想记忆在序列学习背景下进行了比较,并讨论了可能影响密集联想记忆作为研究生物神经网络工具的效用的生物灵感上的偏差。我们展示了我们的发现,并表明现有的序列学习方法可以应用于密集联想记忆以提高序列学习性能。