LLM2D
常用人工神经网络激活函数的统一
Unification of popular artificial neural network activation functions
作者: Mohammad Mostafanejad
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2302.11007v3

摘要

我们提出了一种最流行的神经网络激活函数的统一表示。采用分数阶微积分中的 Mittag-Leffler 函数,我们提出了一种灵活且紧凑的函数形式,能够在各种激活函数之间进行插值,并减轻神经网络训练中常见的梯度消失和梯度爆炸问题。所提出的门控表示将固定形状激活函数的范围扩展到其自适应对应物,其形状可以从训练数据中学习。所提出函数形式的导数也可以用 Mittag-Leffler 函数表示,这使其成为基于梯度的反向传播算法的合适候选者。通过在不同大小的各种数据集上训练多个不同复杂度的神经网络,我们证明了采用激活函数的统一门控表示为传统机器学习框架中激活函数的各个内置实现提供了一种有前景且经济高效的替代方案。