持续学习（CL）已成为机器学习中的一个关键领域，它使神经网络能够从不断变化的数据分布中学习，同时减轻灾难性遗忘。然而，最近的研究发现了稳定性差距——一种模型在训练过程中最初会失去先前学习的任务的性能，然后才部分恢复的现象。这种学习动态与持续学习中对稳定性的直观理解相矛盾，人们期望性能逐渐下降，而不是迅速下降然后在稍后部分恢复。为了更好地理解和减轻稳定性差距，我们从神经网络架构的不同层次对其进行了研究，特别关注了分类头的作用。我们引入了最近均值分类器 (NMC) 作为一种工具，用于确定主干和分类头对稳定性差距的影响。我们的实验表明，NMC 不仅提高了最终性能，而且还显著增强了各种持续学习基准测试（包括 CIFAR100、ImageNet100、CUB-200 和 FGVC Aircraft）的训练稳定性。此外，我们发现 NMC 还可以减少任务近期偏差。我们的分析为稳定性差距提供了新的见解，并表明这种现象的主要贡献者是线性头，而不是表示学习不足。