arXiv:2410.02675v3 宣布类型: 替换-跨领域 摘要：尽管通用型神经网络，如MLPs和Transformer取得了显著的成功，但我们发现它们在建模和推理周期性现象方面表现出明显的不足，在训练域内只能获得边际性能，并且无法有效地泛化到领域外（OOD）场景。周期性现象在自然界和科学中无所不在。因此，神经网络应该具备建模和处理周期性现象的基本能力。在此工作中，我们提出FAN，这是一种新型的通用型神经网络，类似于MLP，但在有效地解决周期性建模挑战方面提供了广泛的应用。FAN通过引入傅里叶原则，自然地将周期性集成到其结构和计算过程中。与现有的基于傅里叶的网络不同，这些网络具有特定的周期性建模能力，通常针对特定任务进行设计，我们的方法保持了通用型建模能力。因此，FAN可以无缝地在各种模型架构中替换MLP，同时拥有更少的参数和FLOPs。通过广泛的实验，我们证明了FAN在周期性建模任务中的优越性，并展示了FAN在各种实际任务中的有效性和泛化性，例如符号公式表示、时间序列预测、语言建模和图像识别。