摘要
arXiv:2502.06018v1 宣告类型: cross
摘要:尽管柯尔莫哥洛夫-阿诺尔德基可解释网络(KAN)具有很强的理论表达性,但在高维任务中,它们面临着参数膨胀和高频特征捕捉的挑战。为此,我们提出了柯尔莫哥洛夫-阿诺尔德-傅里叶网络(KAF),该网络有效地集成了一系列可训练的随机傅里叶特征(RFF)以及一种新颖的混合GELU-傅里叶激活机制,以平衡参数效率和频谱表示能力。我们的关键技术贡献包括:(1)通过矩阵关联性质将KAN的双重矩阵结构进行合并,从而大幅减少参数量;(2)引入可学习的RFF初始化策略,以消除高维逼近任务中的频谱失真;(3)实现了一种适应性混合激活函数,在训练过程中逐步增强频率表示。全面的实验表明,我们的KAF在包括视觉、自然语言处理、音频处理和微分方程求解任务在内的各个领域均表现出卓越的性能,有效地结合了理论可解释性与实用性和计算效率。