arXiv:2406.11721v2 声明类型: replace-cross 摘要：理解对齐技术始于理解指令调优带来的零样本泛化，但对其中机制的理解还很有限。现有的工作主要集中在任务级别上，而没有考虑到任务是人为定义的，并且对大型语言模型来说，仅仅是由标记和表示组成的。为了弥合这一差距，我们从数据本身的视角研究了零样本泛化。首先，我们证明了零样本泛化在指令调优早期就开始发生了，损失在这过程中作为一个稳定的指标发挥了作用。接着，我们从相似性和粒度的角度研究了训练数据的排列方式，确认了接触某些训练实例的时间可能大大有助于在未见任务上的泛化。最后，我们提出了一种更为实际的训练数据排列框架——以测试为中心的多轮排列，并展示了其在促进持续学习和进一步降低损失方面的有效性。首次展示，零样本泛化在指令调优过程中是训练数据和测试数据在实例级别上基于相似性的泛化形式。我们的代码发布在 https://github.com/thunlp/Dynamics-of-Zero-Shot-Generalization。