arXiv:2504.09185v1 宣告类型: cross 摘要: 长序列预测是时间序列预测中的一个关键挑战。虽然基于Mamba的模型因其序列选择能力而表现出强劲的性能，但它们仍然在注重关键时间步和完全消除噪声方面存在不足，这是由于其选择能力有限所致。为了解决这个问题，我们引入了重复对比学习（RCL），这是一种旨在增强Mamba选择能力的令牌级别对比预训练框架。RCL 预训练单个Mamba块以加强其选择能力，然后将这些预训练参数用于各种骨干模型的Mamba块初始化，从而提高它们的时间预测性能。RCL 通过高斯噪声进行序列增强，并应用跨序列和同序列对比学习，帮助Mamba模块优先处理信息丰富的时间步，忽略噪声时间步。广泛的实验表明，RCL 一致地提高了骨干模型的性能，超越了现有方法，并取得了最先进的结果。此外，我们提出了两种衡量Mamba选择能力的指标，为RCL 所带来的改进提供了理论、定性和定量的证据。