大型语言模型 (LLM) 不断更新以提升性能，通常通过数据或架构的改变。在更新过程中，开发者往往优先考虑提升整体性能指标，而较少关注与早期模型版本保持兼容性。从一个模型版本到下一个模型版本，实例级性能下降（实例回归）会干扰用户对特定语言模型能力的心理模型。用户不得不随着每次更新调整其心理模型，这会导致不满，尤其是在新模型在已知用例中相对于先前版本出现性能下降（模型更新回归）时。我们发现，当预训练的 LLM 基础模型更新时，微调的用户界面下游任务适配器会发生负面翻转——之前正确的实例现在被错误地预测。我们观察到不同模型版本之间在各种任务和模型上存在模型更新回归，即使下游任务训练程序保持一致。我们主张在更新过程中保持模型更新兼容性的重要性，并针对生成式任务专门设计评估指标，同时也可应用于判别式任务。我们提出了一种训练策略，以最大程度地减少模型更新中的实例回归，包括训练兼容性适配器，该适配器可以增强任务微调的语言模型。我们证明，例如，当使用我们提出的方法将 Llama 1 更新到 Llama 2 时，负面翻转减少了高达 40%。