摘要
在这项工作中,我们提出了 BiSSL,一个首创的训练框架,它引入了双层优化来增强自监督学习中预训练和下游微调阶段之间的对齐。BiSSL 将预训练和下游任务目标分别制定为双层优化问题中的下层和上层目标,并作为自监督学习管道中的一个中间训练阶段。通过更明确地建模这些训练阶段的相互依赖性,BiSSL 促进了它们之间增强的信息共享,最终导致更适合下游任务的骨干参数初始化。我们提出了一种训练算法,该算法在优化 BiSSL 中定义的两个目标之间交替进行。使用在 STL10 数据集上使用 SimCLR 预训练的 ResNet-18 骨干,我们证明了与传统的自监督学习管道相比,我们提出的框架在各种下游图像分类数据集上始终如一地实现了改进或具有竞争力的分类精度。对骨干特征的定性分析进一步表明,BiSSL 在微调之前增强了骨干中下游特征的对齐。