arXiv:2408.06663v3 宣告类型: replace-cross 摘要：大型语言模型的发展催生了一种预训练-对齐范式，在这种范式中，模型通常在大规模文本语料库上进行预训练，并通过调优阶段将模型与人类偏好或下游任务对齐。在本项工作中，我们通过对多个中间预训练模型检查点进行调优来研究预训练和调优之间的关系。我们在18个数据集上的结果显示，i) 持续预训练以一种潜移默化的方式改善了模型，这种改善在调优后表现出来；ii) 通过额外的调优，模型未能表现出能力的数据集比预训练阶段表现良好的数据集获得更多的提升；iii) 尽管通过监督调优显著提升了模型，它可能会遗忘之前已知的领域知识以及调优过程中未出现的任务；iv) 经过监督调优后，模型对评估提示表现出较高的敏感性，但更多的预训练可以缓解这种敏感性。