摘要
arXiv:2505.00533v1 类型: cross
摘要: 深度神经网络常常由于训练数据和测试数据之间的分布变化而出现性能下降。尽管领域适应可以提供解决方案,但在许多真实情况下,隐私问题限制了对训练数据的访问。这种限制促成了测试时适应(TTA)的兴趣,即仅使用未标记的测试数据来适应模型。然而,当前的TTA方法仍然面临实际挑战:(1) 对实例级别的对齐过度关注,忽略了由于缺失来源相关性而导致的CORrelation ALignment (CORAL);(2) 模型更新所需的复杂回传操作,导致计算开销和(3) 领域遗忘。
为了解决这些挑战,我们提供了一种理论分析,探讨了测试时相关性对齐(TCA)的可行性,展示出高置信度实例与测试实例之间相关性对齐可以以理论保证的方式提高测试性能。基于此,我们提出了两个简单而有效的算法:LinearTCA和LinearTCA+。LinearTCA通过简单的线性变换实现实例和相关性对齐,而无需额外的模型更新,而LinearTCA+则作为一个即插即用模块,可以轻松增强现有的TTA方法。广泛实验证明了我们的理论见解,并展示了TCA方法在各种任务、基准和骨干网络中显著优于基线方法。值得注意的是,LinearTCA在OfficeHome数据集上的适应准确率提高了5.88%,同时仅使用了最高GPU内存使用率的4%和计算时间的0.6%,优于最佳基础TTA方法。