arXiv:2504.15051v1 激活函数类型：交叉 摘要：激活函数是深度神经网络的基础组成部分，直接影响梯度流动、优化稳定性和泛化能力。尽管 ReLU 由于其简单性仍然是标准选择，但它存在梯度消失的问题，并且缺乏适应性。Swish 和 GELU 等替代方案引入了平滑过渡，但无法动态调整输入统计数据。我们提出了一种名为 VeLU 的激活函数，这是一种基于输入方差动态缩放的激活函数，通过结合 ArcTan-Sin 变换和 Wasserstein-2 正则化，有效地缓解了协变量偏移并稳定了优化过程。在 ViT_B16、VGG19、ResNet50、DenseNet121、MobileNetV2 和 EfficientNetB3 上进行的广泛实验表明，VeLU 在六项视觉基准测试中优于 ReLU、ReLU6、Swish 和 GELU。VeLU 的代码已在 GitHub 上公开可供下载。