arXiv:2505.00661v2 宣告类型: replace-cross 摘要：大语言模型展现出令人兴奋的能力，但在微调后表现出惊人的狭窄泛化能力。例如，它们可能会在训练过的关联关系反转上失败泛化，或基于训练信息进行简单的逻辑推理时失败。这些微调后泛化失败会妨碍这些模型的实际应用。另一方面，语言模型的在上下文学习表现出不同的归纳偏置，并且在某些情况下能够更好地泛化。在这里，我们探索了上下文学习和微调学习在泛化方面的差异。为此，我们构建了几个新型数据集来评估和改进模型从微调数据中泛化的能力。这些数据集的设计旨在通过隔离数据集中的知识和预训练中的知识来创建干净的泛化测试。我们向这些数据集中的信息的受控子集暴露预训练的大模型——要么是在上下文中，要么是通过微调——并在要求各种类型泛化的测试集上评估它们的性能。总体而言，我们发现，在数据匹配的设置中，上下文学习比微调更能灵活地泛化（尽管我们也发现了一些以前发现的例外情况，如微调可以泛化到更大知识结构中嵌入的反转情况）。基于这些发现，我们提出了一种方法，以使微调后的泛化能力改进：向微调数据中添加上下文推断。我们展示了这种方法在我们数据集的不同分割以及其他基准测试上都提高了泛化的性能。我们的结果对于理解语言模型不同学习模式的归纳偏置具有重要意义，并且可以实际改进它们的性能。