arXiv:2501.14000v2 Announce Type: replace-cross 摘要：多层感知机（MLPs）的广泛应用往往依赖于在隐藏层所有节点中使用固定激活函数（例如，ReLU、Sigmoid、Tanh）。虽然在许多场景中有效，但这种统一性可能会限制网络捕捉复杂数据模式的能力。我们argue认为，在每个节点使用相同的激活函数是次优的，并提出在每个节点使用不同的激活函数以增加灵活性和适应性。为此，我们引入了Local Control Networks（LCNs），并利用B样条函数在每个节点上实现不同的激活曲线。我们的数学分析证明了LCNs相对于传统MLPs的优势。此外，我们证明了在某些情况下，更复杂的架构，如柯尔莫哥洛夫-阿诺德网络（KANs），是不必要的，LCNs可以是更高效的替代方案。在各种基准和数据集上的实验证明了我们的理论发现。在计算机视觉任务中，LCNs在MLPs上取得小幅改进，并在性能上比KANs高出约5%，同时比KANs更具计算效率。在基本机器学习任务中，LCNs在MLPs上表现出1%的改进，并在KANs上表现出0.6%的改进。对于符号公式表示任务，LCNs在性能上与KANs相当，两种架构都优于MLPs。我们的研究结果表明，在节点级别使用多样化的激活函数可以提高性能和效率。