arXiv:2408.16189v2 宣布类型: replace-cross 摘要：迁移学习旨在通过从目标分布中优化聚合样本，并结合相关来源分布中的样本，以改善目标风险。在过去的二十年中，提出了多种方法来解决这个问题，每种方法都由来源分布与目标分布之间不同数量度量驱动。本文提出的第一问题是是否存在能够同时适应这些不同度量的统一算法方法。 我们展示了对于分类和回归任务中提出的一类广泛度量而言，这是确实存在的，因为它们恰好都上界限制了来源分布与目标分布风险之间的一个弱连续性度量，我们称其为弱迁移模量。这一更加统一的观点，首先让我们能够通过将问题归约到特定的置信集来识别能够同时适应这些不同度量的算法方法。其次，它还使我们能够更细致地理解在这些度量下迁移学习的统计极限，并且特别地揭示了一些比粗略观察下预期更快的学习速率的场景。 然后，我们转向弱模量及其相应度量无法充分捕捉的情况：这些情况指的是，来源和目标数据的集合可以在单凭来源数据或目标数据本身的情况下显著提高目标性能。我们证明了一些常见的这类情况——例如，在具有虚假相关性的某些因果模型下可能出现的情况——可以通过所谓的强迁移模量来很好地描述，强迁移模量超越了弱迁移模量。最后，我们展示了强模量也具有适应性方法，这些方法在强模量未知的情况下能够实现接近最优的学习速率，并因此适用于更广泛的场景。