LLM2D
人工神经可塑性——综述及Drop In & Out学习的灵感
Neuroplasticity in Artificial Intelligence -- An Overview and Inspirations on Drop In & Out Learning
作者: Yupei Li, Manuel Milling, Bj\"orn W. Schuller
发布日期: 4/28/2025
arXiv ID: oai:arXiv.org:2503.21419v3

摘要

arXiv:2503.21419v3 宣告类型: 替换 摘要:随着深度神经网络(DNNs)的兴起,人工智能(AI)在公共使用中达到了新的性能和普及水平。最初受到人类神经元及其连接的启发,神经网络已成为许多高级架构中AI模型的基础。然而,在DNN架构设计中,人类大脑中一些最核心的过程,尤其是神经发生、神经可塑性和更为广泛的神经凋亡,却大多被忽视。相反,当代AI开发主要集中在构建复杂的框架,如大型语言模型,这些框架在训练和推理过程中保留了神经连接的静态结构。在此背景下,我们探讨了神经发生、神经凋亡和神经可塑性如何启发未来的人工智能进步。具体来说,我们研究了人工神经网络中类似的活动,提出了“dropin”概念以类比神经发生,并回顾了“dropout”和结构修剪以类比神经凋亡。此外,我们提出将这两种机制结合在一起,以在未来“终身学习”设置中的大型神经网络中实现神经可塑性。最后,我们提倡在这一跨学科领域进行更多的研究努力,并确定了未来探索的有希望的方向。