摘要
arXiv:2407.11676v3 宣布类型: replace-cross
摘要: 无监督领域适应(DA)涉及将在一个标注源域上训练的模型调整以在一些数据分布变化的未标注目标域上表现良好。尽管文献中提出了许多方法,但在方法论上,在无监督设置中选择超参数仍然存在困难,公平和现实的评估仍然是一个开放的问题。通过 SKADA-bench,我们提出了一种框架,在图像识别任务之外的多种模态上评估 DA 方法,这些模态在文献中已经得到了大量的探索。我们对现有的浅层算法进行了完整且公平的评估,包括重新加权、映射和子空间对齐。通过嵌套交叉验证和各种无监督模型选择评分,我们对模拟数据集(包括受控变化的数据集)以及来自多种模态(如图像、文本、生物医学和表格数据)的真实世界数据集进行了现实的超参数选择。我们的基准强调了现实验证的重要性,并为实际应用提供了实用的指导,提供了关于模型选择方法的选择和影响的关键见解。SKADA-bench 是开源的、可重复的,并且可以通过添加新的 DA 方法、数据集和模型选择标准在无需重新评估竞争对手的情况下轻松扩展。SKADA-bench 可在 Github 上获取,网址为 https://github.com/scikit-adaptation/skada-bench。