LLM2D
利用李雅普诺夫指数设计深度神经网络
Utilizing Lyapunov Exponents in designing deep neural networks
作者: Tirthankar Mittra
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05988v1

摘要

训练大型深度神经网络需要大量资源。本研究探讨了李雅普诺夫指数是否可以通过帮助选择超参数来加速这一过程。为了研究这一点,我使用隐藏层具有不同激活函数的神经网络制定了一个优化问题。通过用不同的随机种子初始化模型权重,我在对这些模型权重执行传统的梯度下降时计算了李雅普诺夫指数。研究结果表明,学习率的变化会导致模型权重的混沌变化。我还表明,具有更负李雅普诺夫指数的激活函数表现出更好的收敛特性。此外,该研究还表明,李雅普诺夫指数可用于选择深度神经网络的有效初始模型权重,从而潜在地增强优化过程。