arXiv:2502.06153v1 宣告类型: cross 摘要: 科尔莫戈罗夫-阿诺尔德网络(KANs)已经在各个领域展示了其作为多层感知器(MLPs)的替代方案的潜力，尤其是在科学相关任务方面。然而，KANs的迁移学习仍是一个相对未被探索的领域。在这篇论文中，受张量的塔克分解以及KAN参数更新中存在低张量秩结构证据的启发，我们开发了低张量秩适应(LoTRA)方法以微调KANs。我们基于塔克分解近似研究了LoTRA的表达能力。此外，我们提供了一种理论分析来选择每个LoTRA分量的学习率，以便实现高效训练。我们的分析还表明，使用所有组件相同的学习率会导致训练效率低下，强调了需要采用自适应学习率策略。除了理论洞察之外，我们还探讨了LoTRA在通过微调KANs高效求解各种偏微分方程(PDEs)方面的应用。此外，我们提出了Slim KANs，该模型结合了KAN参数张量的固有低张量秩属性，从而减小模型大小同时保持优越性能。实验结果验证了所提出的学习率选择策略的有效性，并证明了LoTRA在KANs的PDEs求解中的迁移学习效果。进一步的评估表明，Slim KANs在函数表示和图像分类任务中的表现进一步突显了LoTRA的表达能力及其通过低张量秩分解减少参数的潜力。