LLM2D
面向任务微调的推测性核心集选择
Speculative Coreset Selection for Task-Specific Fine-tuning
作者: Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Tianlin Li, Weipeng Jiang, Yang Liu
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01296v1

摘要

针对特定任务的微调对于大型语言模型 (LLM) 的部署至关重要,但它需要大量的计算资源和时间。现有的解决方案提出了核心集选择方法来提高数据效率并减少模型训练开销,但它们仍然存在局限性:1) 在高修剪率下忽略了有价值的样本,这会降低核心集的性能。2) 在核心集选择期间需要很高的时间开销来微调和评估目标 LLM。在本文中,我们介绍了 STAFF,一种推测性核心集选择方法。STAFF 利用与目标 LLM 同族的小模型来有效地估计数据分数,然后在目标 LLM 上验证这些分数,以便准确地识别和分配更多选择预算到重要区域,同时保持对容易区域的覆盖。我们在三个 LLM 和三个下游任务上评估了 STAFF,结果表明 STAFF 将 SOTA 方法的性能提高了高达 54.3%,并在不同的修剪率下将选择开销降低了高达 70.5%。此外,我们观察到,STAFF 在低修剪率(即 20%)下选择的核心集甚至可以获得比完整数据集更好的微调性能。