基于静态预收集通用数据集训练的大型语言模型 (LLM) 近期取得的成功，激发了众多研究方向和应用。其中一个方向旨在解决将预训练 LLM 集成到动态数据分布、任务结构和用户偏好中的非平凡挑战。针对特定需求定制的预训练 LLM，通常会在之前的知识领域出现显著的性能下降——这种现象被称为“灾难性遗忘”。虽然在持续学习 (CL) 社区中已得到广泛研究，但在 LLM 领域却呈现出新的表现形式。在本综述中，我们全面概述了 CL 背景下 LLM 的当前研究进展。本综述分为四个主要部分：我们首先概述了持续学习 LLM，包括两个连续性方向：垂直连续性（或垂直持续学习），即从一般能力到特定能力的持续适应；以及水平连续性（或水平持续学习），即跨时间和领域的持续适应（第三节）。然后，我们总结了在现代 CL 背景下学习 LLM 的三个阶段：持续预训练 (CPT)、领域自适应预训练 (DAP) 和持续微调 (CFT)（第四节）。然后，我们概述了使用 LLM 进行持续学习的评估协议，以及当前可用的数据源（第五节）。最后，我们讨论了关于 LLM 持续学习的有趣问题（第六节）。本综述中审查的全部论文列表可在 https://github.com/Wang-ML-Lab/llm-continual-learning-survey 获取。