arXiv:2410.02465v2 宣告类型：替换-交叉 摘要：指令调优——使用指令-响应对进行监督微调——是使预训练的大语言模型（LLMs）具有可指令性的关键步骤。同时，LLMs 在预训练阶段进行多任务学习，获取了广泛的知识和能力。我们假设预训练阶段可以使它们具备理解并应对指令的能力。为了验证这一点，我们提出了响应调优（RT），它从指令调优的过程中去除了指令及其对应的响应映射，而是专注于建立响应分布。我们的实验表明，仅在响应上进行训练的 RT 模型能够有效地应对各种指令，并展现出接近其指令调优版本的帮助性。此外，我们观察到，在学习了训练响应中的拒绝条件后，模型能够识别并拒绝不安全的查询。进一步地，我们展示了这些观察结果也适用于上下文学习环境中。这些发现支持了我们的假设，突显了预训练 LLMs 的广泛内在能力。