arXiv:2504.10900v1 宣布类型: cross 摘要：大规模预训练在多样化的大型数据集上取得了显著的成果，使基础模型在各种机器学习领域中取得了 remarkable 的成功。然而，在如此大规模和多样化的数据集上进行预训练引入了重大挑战，特别是在时间序列数据中，由于数据分布的巨大不匹配所产生的问题尤为突出。在本文中，我们通过在Transformer架构内提出一种领域感知自适应归一化策略来解决这个问题。具体而言，我们用一种基于原型引导的动态归一化机制（ProtoNorm）取代传统层归一化（LayerNorm），其中学习到的原型封装了不同的数据分布，样本与原型的相关性决定了合适的归一化层。这种机制有效地捕捉了时间序列特征的异质性，使预训练表示能够与下游任务对齐。通过全面的经验评估，我们证明了我们的方法在分类和预测任务中显著优于传统的预训练技术，同时有效地缓解了预训练过程中数据分布偏移的负面影响。将ProtoNorm集成仅需替换一行代码即可。在多种实际时间序列基准上的广泛实验验证了我们方法的稳健性和通用性，促进了更通用的时间序列基础模型的发展。