LLM2D
自我监督的迁移学习中的分布匹配
Distribution Matching for Self-Supervised Transfer Learning
作者: Yuling Jiao, Wensen Ma, Defeng Sun, Hansheng Wang, Yang Wang
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2502.14424v1

摘要

arXiv:2502.14424v1 类型:横跨领域 摘要: 在本文中,我们提出了一种新颖的自监督迁移学习方法,称为分布匹配(DM),该方法通过使表示分布朝向一个预定义的参考分布发展,同时保持增强不变性。DM的设计产生了一个直观结构化的学习表示空间,并提供了易于解释的超参数。在多个实际数据集和评价指标上的实验结果表明,DM在目标分类任务上的表现与现有的自监督迁移学习方法相当。此外,我们为DM提供了稳健的理论保证,包括人口定理和端到端样本定理。人口定理填补了自监督学习任务与目标分类准确性之间的差距,而样本定理表明,在目标领域样本数量有限的情况下,只要未标记样本数量足够大,DM仍能实现卓越的分类性能。