arXiv:2503.10879v2 通知类型: 替换交叉 摘要：激活函数在神经网络的性能和行为中起着关键作用，显著影响其学习和泛化的能力。传统的激活函数，如ReLU、Sigmoid和tanh，已经在许多任务中取得了显著的成功。然而，这些函数可能并不总是为所有任务和数据集提供最优性能。在本文中，我们介绍了Neuvo GEAF - 一种利用语法演化（GE）自动演化特定神经网络架构和数据集定制的新激活函数的创新方法。在知名二元分类数据集上的实验结果显示，与ReLU相比，在相同的网络架构下，F1分数有了统计学意义上的显著提高（在2.4%到9.4%之间）。值得注意的是，这些性能改进是在不增加网络参数数量的情况下实现的，支持了向更高效的神经网络发展的趋势，这些网络可以在资源受限的边缘设备上有效运行。本文的研究结果表明，演化出的激活函数可以为紧凑的网络提供显著的性能改进，同时在训练和推理阶段保持能效。