arXiv:2410.02387v3 宣告类型: replace-cross 摘要：本研究提出了一种名为BiSSL的新颖训练框架，利用双层优化来增强自监督学习中预训练阶段和下游微调阶段之间的对齐。BiSSL将预训练和下游任务目标分别形式化为双层优化问题中的下层和上层目标，并作为自监督学习流水线中的中间训练阶段。通过明确建模这些训练阶段之间的相关性，BiSSL促进了它们之间信息的共享，最终导致一个更适合下游任务的骨干参数初始化。我们提出了一种通用的训练算法，在BiSSL中交替优化定义的两个目标，该算法适用于各种预训练和下游任务。在使用SimCLR和Bootstrap Your Own Latent对ImageNet数据集上的ResNet-50骨干进行预训练后，我们证明了所提出的框架在广泛的大约12个下游图像分类数据集以及目标检测中表现显著优于传统的自监督学习框架。下游任务细化前的骨干特征可视化进一步证明了BiSSL提高了骨干特征的下游任务对齐。