LLM2D
人工神经可塑性——一种关于插入与移除学习的概述与启发
Neuroplasticity in Artificial Intelligence -- An Overview and Inspirations on Drop In \& Out Learning
作者: Yupei Li, Manuel Milling, Bj\"orn W. Schuller
发布日期: 3/28/2025
arXiv ID: oai:arXiv.org:2503.21419v1

摘要

arXiv:2503.21419v1 通知类型: 新 摘要: 随着深度神经网络(DNNs)的兴起,人工智能(AI)在公共使用中达到了新的性能水平和普及程度。最初受到人类神经元及其连接的启发,神经网络成为了许多高级架构的AI模型的基础。然而,在DNN架构设计中,人类大脑中一些最为关键的过程,特别是神经发生、神经可塑性和更广泛分布的神经凋亡,已经得到了很大程度的忽视。相反,现代AI开发主要集中在构建先进的框架,如大型语言模型,这些框架在训练和推理过程中神经连接的结构保持不变。在这一点上,我们探讨了神经发生、神经凋亡和神经可塑性如何启发未来的AI进步。具体来说,我们考察了人工神经网络中类似的过程,提出了“插值”作为神经发生的概念,并重新审视了“dropout”和结构修剪作为神经凋亡的概念。此外,我们建议将神经可塑性结合在这两种机制中,以“终生学习”设置中的未来大型神经网络为目标,同时受到生物学上的启发。最后,我们提倡在这个跨学科领域进行更多的研究努力,并确定了未来探索的有希望的方向。