arXiv:2410.15633v3 Announce Type: replace-cross 摘要：将大型语言模型调整为能够处理具有极长上下文的指令尚未得到充分研究。之前的研究所尝试通过合成长指令遵循样本来扩大可用数据量，因为构建此类数据集对注释员来说通常是具有挑战性的。然而，缺乏确保数据质量的明确策略可能会引入低质量样本并限制模型性能。因此，我们提出了GATEAU，这是一种新型框架，通过识别富含长范围依赖关系的影响样本来应对长上下文对齐的独特挑战。具体而言，GATEAU从两个基本方面测量长范围依赖关系：生成目标响应的难度，由于长范围依赖关系的存在；以及理解长输入的难度，同样由于这些依赖关系的存在。综合实验表明，GATEAU有效地识别了影响样本，利用这些精选样本训练的模型显示了更好的指令遵循能力和长上下文理解能力。