arXiv:2502.02909v1 任务类型: 对接 摘要：我们提出了一种名为SPARC的轻量级持续学习框架，该框架通过低维度空间的提示调整，使大型语言模型（LLMs）能够高效地适应新任务。通过利用主成分分析（PCA），我们识别出训练数据的一个紧凑子空间。在该低维度空间中优化提示提升了训练效率，因为这重点更新了最相关的特征，同时减少了计算开销。此外，由于模型的内部结构保持不变，预训练所获得的丰富知识得到了完全保留，确保在适应过程中不会丢失之前学到的信息。我们的方法在任务增量式和域增量式持续学习设置中实现了高知识保留，仅微调了模型参数的0.04%。此外，通过集成LoRA，我们增强了适应计算约束的能力，允许在准确性和训练成本之间进行权衡。在SuperGLUE基准测试中的实验结果表明，结合PCA的提示调整与LoRA相结合，能够维持完整的知识保留并提高准确性，仅使用模型参数的1%。这些结果证明了我们方法在大型语言模型持续学习中的可扩展性和资源效率。