arXiv:2502.06153v2 宣布类型: 替换交叉 摘要：Kolmogorov--Arnold网络（KANs）在各种领域中已被证明是多层感知机（MLPs）的一种替代方案，尤其是在科学任务方面。然而，KANs的迁移学习仍然是一个相对未探索的领域。在本文中，受张量的Tucker分解以及KAN参数更新中低张量秩结构证据的启发，我们为微调KANs开发了低张量秩适应（LoTRA）。我们基于Tucker分解近似来研究LoTRA的表示能力。此外，我们提供了一种理论分析，以选择每个LoTRA组件的学习率，从而使训练更加高效。我们的分析还表明，使用所有组件相同的学习率会导致训练效率低下，突显了需要适应性学习率策略的必要性。除了理论见解之外，我们还探讨了LoTRA在通过微调KANs高效解决各种偏微分方程（PDEs）中的应用。此外，我们提出了Slim KANs，将KAN参数张量的固有低张量秩特性整合其中，以减少模型大小并保持卓越性能。实验结果验证了所提出的适应性学习率选择策略的有效性，并展示了LoTRA在KANs解决PDEs中的迁移学习中的有效性。进一步评估Slim KANs在函数表示和图像分类任务中的性能表明LoTRA的灵活性以及通过低张量秩分解减少参数数量的潜力。