摘要
尽管神经网络(尤其是 MLP 和 Transformer)取得了显著的成功,但我们发现它们在周期性建模和推理方面存在潜在缺陷,即它们倾向于记忆周期性数据,而不是真正理解周期性的基本原理。然而,周期性是各种推理和泛化形式中至关重要的特征,它通过观察中的重复模式支撑着自然和工程系统中的可预测性。在本文中,我们提出了 FAN,一种基于傅里叶分析的新型网络架构,它增强了有效建模和推理周期性现象的能力。通过引入傅里叶级数,周期性自然地整合到神经网络的结构和计算过程中,从而实现对周期性模式的更准确表达和预测。作为多层感知器 (MLP) 的一种有前途的替代方案,FAN 可以用更少的参数和 FLOPs 无缝地替换各种模型中的 MLP。通过大量实验,我们证明了 FAN 在建模和推理周期性函数方面的有效性,以及 FAN 在一系列现实世界任务(包括符号公式表示、时间序列预测和语言建模)中的优越性和泛化能力。