arXiv:2410.02675v4 宣布类型: replace-cross 摘要: 尽管通用神经网络，如多层感知机（MLP）和变换器（Transformers），取得了显著的成功，但我们发现它们在建模和推理周期现象时存在明显不足，仅在训练域内获得边缘性能，并且不能有效地泛化到域外（OOD）场景。周期现象在自然界和科学中无处不在。因此，神经网络应该具备建模和处理周期性的基本能力。在这项工作中，我们提出了FAN，这是一种新型的通用神经网络，其适用性类似于MLP，同时能够有效解决周期性建模的挑战。通过引入傅里叶原则，周期性自然而然地整合到了FAN的结构和计算过程中。与现有的基于傅里叶的方法不同，这些方法通常针对特定任务进行设计，我们的方法保持了通用建模能力。因此，FAN可以无缝替代MLP在各种模型架构中，同时参数和FLOPs更少。通过广泛的实验，我们证明了FAN在周期性建模任务中具有优越性，并且FAN在一系列实际任务中具有有效性和泛化性，例如符号公式表示、时间序列预测、语言建模和图像识别。