在这篇论文中，我们关注一个重要但尚未充分研究的问题——持续联邦学习（CFL），其中服务器与一组客户端通信，以在不共享或存储任何数据的情况下逐步学习新概念。由于持续学习和联邦学习的双重挑战，这一问题的复杂性进一步增加。具体来说，在CFL设置中训练的模型遭受灾难性遗忘，并且由于客户端之间的数据异质性，这种情况更加严重。现有对这一问题的尝试往往会对客户端和通信通道施加大量开销，或者需要访问存储的数据，这使得它们由于隐私原因不适用于现实世界的应用。在本文中，我们尝试在最小化开销的同时解决遗忘和异质性问题，并且不需要访问任何存储的数据。我们在视觉变换器的背景下研究这个问题，并探索参数高效的方法来适应动态分布，同时最小化遗忘。我们通过利用一种基于提示的方法（这样只需要传递提示和分类器头）并提出一种新颖且轻量级的生成和蒸馏方案来巩固服务器上的客户端模型来实现这一目标。我们将这个问题形式化为图像分类问题，并建立强大的基准进行比较，在CIFAR-100以及像ImageNet-R和DomainNet这样具有挑战性的、大规模数据集上进行实验。我们的方法在减少通信和客户端计算成本的同时，性能超越了现有方法和我们自己的基准多达7%。代码可在https://github.com/shaunak27/hepco-fed获取。