arXiv:2502.03843v1 宣告类型: cross 摘要：高质量的大规模指令对于对齐大型语言模型（LLMs）至关重要，然而，在自然语言理解（NLU）领域，指令的数量存在严重短缺。以前关于构建NLU指令的工作主要集中在信息提取（IE）上，忽略了机器阅读理解、问答和文本分类等任务。此外，数据的缺乏多样性导致了训练好的LLMs在其他NLU任务上的泛化能力下降，基本模型的整体能力也有了明显的下降。为了解决这一问题，我们提出Hum，一个用于NLU任务的大规模高质量合成指令语料库，旨在增强LLMs的NLU能力。具体而言，Hum包括IE（无论是接近的IE还是开放的IE）、机器阅读理解、文本分类和指令专家任务，从而丰富了任务的多样性。此外，我们引入了一种人类-LLMs协作机制来合成指令，通过引入指导原则、偏好规则和格式变体，进一步丰富了指令的多样性。我们在5个NLU任务和28个通用能力评估数据集上对LLMs进行了广泛的实验。实验结果表明，Hum平均提高了6个LLMs的NLU能力3.1%，而在其他通用能力方面没有观察到显著下降。