arXiv:2502.14050v1 类型: cross 摘要: 当前的预训练大型语言模型通常需要指令调优以与人类偏好对齐。然而，由于数据收集量大和模型迭代速度快，指令调优数据往往在数量上已经饱和，使得核心集数据选择变得重要但未被充分探索。另一方面，现有的以质量为导向的数据选择方法，如LIMA（NeurIPS 2023 [周等, 2024]）和AlpaGasus（ICLR 2024 [陈等, 2024]），一般忽略了数据多样性和复杂性同等重要的问题。在本文中，我们旨在设计一个具有多样性的数据选择策略，并创造性地提出使用稀疏自编码器来应对数据多样性的度量挑战。此外，稀疏自编码器还可以为模型行为提供更多的可解释性并解释，例如选择最长响应的惊人的效果（ICML 2024 [赵等, 2024]）。通过有效数据选择，我们实验证明，在我们选择的数据上训练的模型在模型能力上可以胜过其他方法，降低训练成本，并且可能会获得更多对模型行为的控制。