摘要
arXiv:2503.21419v2 宣告类型: 替换
摘要:随着深层神经网络(DNNs)的兴起,人工智能(AI)在公共使用中取得了新的性能水平和普及。最初受到人类神经元及其连接的启发,神经网络已成为许多高级架构的AI模型的基础。然而,在DNN架构设计中,人类大脑中一些最核心的过程,特别是神经发生和神经可塑性,以及更为广泛的神经凋亡,被大量忽视。相反,当下的AI开发主要集中在构建先进的框架,例如大型语言模型,这些框架在训练和推理过程中保留了神经连接的静态结构。在这种背景下,我们探讨了神经发生、神经凋亡和神经可塑性如何为未来的人工智能进步提供灵感。具体而言,我们研究了人工神经网络中的相应活动,引入了“dropin”概念以对应神经发生,并重新审视了“dropout”和结构修剪以对应神经凋亡。此外,我们建议将两种方法结合用于未来大型神经网络在“终生学习”场景中的“神经可塑性”。我们结论中强调了在这一跨学科领域需要加强研究,并指出了未来的探索方向。