LLM2D
TaCIE:通过任务中心指令演化增强大型语言模型的指令理解能力
TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution
作者: Jiuding Yang, Shengyao Lu, Weidong Guo, Xiangyang Li, Kaitong Yang, Yu Xu, Di Niu
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.02795v1

摘要

大型语言模型 (LLM) 需要与复杂的指令精确对齐,才能在现实世界的应用中优化其性能。随着对精细指令调优数据的需求不断增长,传统的从简单种子指令演化而来的方法往往难以有效地提高复杂度或管理跨不同领域的难度扩展。我们的创新方法,任务中心指令演化 (TaCIE),通过重新定义指令演化,从仅仅演化种子指令转变为更动态、更全面的元素组合,来解决这些缺点。TaCIE 首先将复杂的指令分解为其基本组成部分。然后,它生成并整合新的元素与原始元素,将它们重新组合成更复杂的指令,这些指令在难度、多样性和复杂性方面逐步提高。应用于多个领域,使用这些演化指令微调的 LLM 显著优于使用传统方法微调的 LLM,标志着基于指令的模型微调取得了重大进展。