LLM2D
基于参数子空间解耦的有效无源时序自适应方法
Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement
作者: Gaurav Patel, Christopher Sandino, Behrooz Mahasseni, Ellen L Zippi, Erdrin Azemi, Ali Moin, Juri Minxha
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02147v1

摘要

本文提出了一种针对时间序列数据源无关域适应 (SFDA) 的高效框架,重点关注参数效率和数据样本利用率的提升。我们的方法引入了一种改进的源模型准备和目标端适应范式,旨在提高目标适应过程中的训练效率。具体而言,我们以 Tucker 风格的分解方式重新参数化源模型的权重,在源模型准备阶段将模型分解成紧凑形式。在目标端适应过程中,仅对这些分解因子的子集进行微调,从而显著提高训练效率。我们使用 PAC 贝叶斯分析证明,这种选择性微调策略通过限制模型的学习能力,隐式地正则化了适应过程。此外,这种重新参数化降低了模型的整体大小并提高了推理效率,使其特别适合资源受限的设备。此外,我们证明了我们的框架与各种 SFDA 方法兼容,并在计算效率方面取得了显著的提升,将微调参数的数量和推理开销(以 MACs 衡量)降低了 90% 以上,同时保持了模型性能。