LLM2D
揭示优越范式:源无关域适应和无监督域适应的比较研究
Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation
作者: Fan Wang, Zhongyi Han, Xingbo Liu, Xin Gao, Yilong Yin
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15844v1

摘要

在领域自适应中,存在两种流行的范式:无监督领域自适应 (UDA),它使用源数据对齐分布;以及免源领域自适应 (SFDA),它利用预训练的源模型而无需访问源数据。评估 UDA 与 SFDA 的优劣是一个开放且及时的课题,对在实际应用中部署自适应算法具有重大意义。本研究通过预测编码理论和对多个基准数据集的大量实验表明,SFDA 在现实场景中通常优于 UDA。具体来说,SFDA 在时间效率、存储需求、目标学习目标、降低负迁移风险以及提高抗过拟合能力方面具有优势。值得注意的是,当源域和目标域之间存在大量分布差异时,SFDA 在减轻负迁移方面尤其有效。此外,我们引入了一种新颖的数据-模型融合场景,其中利益相关者之间的数据共享有所不同(例如,一些提供原始数据,而另一些只提供模型),并揭示了传统的 UDA 和 SFDA 方法在这种情况下并未充分发挥其潜力。为了解决这一限制并利用 SFDA 的优势,我们提出了一种新颖的权重估计方法,该方法有效地将可用的源数据整合到多 SFDA (MSFDA) 方法中,从而提高了该场景下的模型性能。这项工作对 UDA 与 SFDA 进行了彻底的分析,并提出了一种在各种现实环境中进行模型自适应的实用方法。