摘要
在现实世界中,一个支持学习的系统通常会经历多个模型开发周期,以增强系统处理困难或新兴任务的能力。这种持续的模型开发过程引发了一个重大问题,即为了获取新能力或改进现有能力而进行的模型开发可能会无意中丢失旧模型的能力,也被称为灾难性遗忘。现有的持续学习研究侧重于通过权衡先前任务和新任务的性能来减轻灾难性遗忘,以确保良好的平均性能。然而,它们对于许多应用(尤其是在安全关键领域)来说是不够的,因为未能严格保留旧模型的性能不仅会带来安全风险和不确定性,还会在重新改进和重新验证现有属性方面造成大量开支。为了解决这个问题,我们引入了模型开发安全,作为学习系统的保证,即在模型开发过程中,新模型应严格保留旧模型的现有保护能力,同时提高其在目标任务上的性能。为了确保模型开发安全,我们提出了一个以安全为中心的框架,将模型开发安全表述为数据相关的约束。在这个框架下,我们研究如何开发一个预训练的视觉语言模型(即 CLIP 模型)来获取新能力或改进图像分类的现有能力。我们提出了一种具有理论保证的高效约束优化算法,并利用其见解对具有任务相关头的 CLIP 模型进行微调,以促进模型开发安全。我们在自动驾驶和场景识别数据集上改进视觉感知能力的实验验证了所提出方法的有效性。