arXiv:2404.08417v2 宣告类型: replace-cross 摘要：大规模语言模型（LLMs）越来越有能力通过回忆静态预训练语料中的信息来完成知识密集型任务。在此背景下，我们关注LLMs在数据需求不断变化的情况下的应用。例如：周期性引入的新数据批次；具有用户级访问控制的数据子集；或对文档进行动态删除以确保关联知识不再被回忆的要求。我们希望通过满足这些要求同时确保模型在新数据可用时不会忘记旧信息。为此，我们提出了AdapterSwap，这是一种训练和推理方案，将数据集中的知识组织成一组低秩适配器，在推理过程中动态组合。我们的实验展示了AdapterSwap支持高效连续学习的能力，同时使组织能够对数据访问和删除拥有细粒度控制。