大型语言模型（LLM）执行复杂指令的能力对其现实世界应用至关重要。然而，最近的一些研究表明，LLM在处理具有挑战性的指令方面存在困难。本文提出了一种名为进化对比蒸馏（ECD）的新方法，用于生成高质量的合成偏好数据，旨在增强语言模型的复杂指令遵循能力。ECD生成的数据专门说明了成功遵循一组复杂指令的响应与高质量但存在细微错误的响应之间的差异。这是通过提示LLM逐步将简单的指令演变为更复杂的指令来实现的。当指令的复杂度增加时，对原始指令的原始成功响应成为新指令的“硬负”响应，它基本上满足了新指令的要求，但仅仅错失了一两个要求。通过将一个好的响应与这种硬负响应配对，并采用对比学习算法（如DPO），我们提高了语言模型遵循复杂指令的能力。从经验上看，我们观察到我们的方法产生了一个7B模型，该模型超过了当前SOTA 7B模型的复杂指令遵循性能，甚至与开源70B模型相比也具有竞争力。