arXiv:2204.12833v3 转移学习类型: 替换交叉 摘要：在新目标任务上训练深度神经网络时，转移学习至关重要。当前的转移学习方法总是假设至少满足以下之一的前提条件：(i) 源任务和目标任务的标签空间重叠；(ii) 源数据集可用；(iii) 目标网络架构与源网络架构一致。然而，在实际场景中保持这些假设是困难的，因为目标任务很少与源任务具有相同的标签，源数据集由于存储成本和隐私限制而无法访问，并且目标架构往往针对每个任务进行了专门化。为了在不依赖这些假设的情况下转移源知识，我们提出了一种使用深层生成模型的转移学习方法，该方法包括两个阶段：伪预训练（PP）和伪半监督学习（P-SSL）。PP 使用条件源生成模型合成的假数据集来训练目标架构。P-SSL 对带有标签的目标数据和由级联源分类器和生成模型生成的伪样本（这些伪样本是根据目标样本条件化）应用半监督学习算法。我们的实验结果表明，我们的方法可以超过从头开始训练和知识蒸馏的基线方法。