LLM2D
持续学习能力网络的一个提案
A Proposal for Networks Capable of Continual Learning
作者: Zeki Doruk Erden, Boi Faltings
发布日期: 3/31/2025
arXiv ID: oai:arXiv.org:2503.22068v1

摘要

arXiv:2503.22068v1 宣告类型: cross 摘要: 我们分析了计算单元在参数更新后保留过去响应的能力,这是系统级持续学习的关键特性。使用梯度下降训练的神经网络缺乏这种能力,促使我们提出了Modelleyen这一替代方法,它具有固有的响应保留能力。通过在模拟简单环境的动力学和MNIST上的实验,我们展示了尽管Modelleyen目前阶段增加了计算复杂度并存在一些表示限制,但它在不依赖样本重放或预定义任务边界的情况下实现了持续学习。