arXiv:2410.21582v2 宣布类型: 替换-交叉 摘要: 高性能的大规模预训练模型承诺也为学习特定任务提供了一个有价值的基石，方法是将模型微调到期望的任务上。通过从一个通用良好的模型开始，目标是在特定任务的专业化和保持鲁棒性之间取得平衡。为了评估在下游数据集上微调后模型在非分布样本上的鲁棒性，我们引入了一个新的鲁棒微调基准——ImageNet-RIB（鲁棒性继承基准）。该基准包含一系列相关但不同的专业化（下游）数据集；预训练模型在其中一个数据集上进行微调，并在其余数据集上评估其鲁棒性，覆盖所有任务的微调和评估过程。预训练数据集与下游数据集之间的距离，通过最优运输来衡量，预测了这种性能下降。尽管持续学习方法有助于保持鲁棒性，但微调通常会降低模型在相关下游任务上的泛化性能。出乎意料的是，当预训练数据集最丰富、最多样化时，在相关下游任务上进行微调后的模型鲁棒性最差。这表明，从最强的基础模型开始，并不一定是最优策略以获得在专业任务上的性能。因此，ImageNet-RIB 为开发更抗性的微调策略和构建稳健的机器学习模型提供了关键见解。https://jd730.github.io/projects/ImageNet-RIB