arXiv:2411.08028v3 宣告类型: 替换 摘要: 在实际的NLP应用中，大型语言模型（LLMs）因其在大规模数据集上的广泛训练而提供了有前途的解决方案。然而，LLMs 的庞大体量和高计算需求限制了它们在许多应用中的实用性，特别是在需要进一步微调的情况下。为了解决这些问题，通常倾向于使用较小的模型进行部署。然而，较小模型的训练受到标注数据稀缺性的阻碍。与此相反，未标注数据通常容易获得，可以通过使用LLMs生成伪标签来为较小模型的训练提供支持。这使得较小模型（学生）可以从LLMs（教师）那里获取知识，同时降低了计算成本。这一过程引入了挑战，如潜在的噪音伪标签。因此，选择高质量和具有信息价值的数据对于提高模型性能并改善数据利用效率至关重要。为此，我们提出了LLKD，它是一种适应性的样本选择方法，结合了教师和学生的信息。具体而言，它优先选择教师在其标注中表现出高置信度的样本，表明可靠的标签，并且学生表现出高信息需求，识别出需要进一步学习的具有挑战性的样本。我们的综合实验表明，LLKD 在各种数据集上实现了更好的性能，同时提高了数据效率。