arXiv:2502.20268v2 宣布类型: 替换交叉 摘要：大型语言模型（LLMs）在多种领域中展现了卓越的性能。然而，有效地利用它们的广泛知识来训练更小的下游模型仍然是一个开放的挑战，特别是在如表格数据学习等领域，由于可解释性和效率的原因，人们通常更偏好使用简单的模型。 在本文中，我们提出了一种新颖而简单的方 法，将LLM生成的全局任务特征贡献纳入更小网络的训练过程中。具体来说，我们提出了一个归属匹配正则项，使更小模型的训练动态与LLM提供的见解保持一致。通过这种方式，我们的方法在少样本学习场景中表现出更优的性能。值得注意的是，我们的方法只需访问LLM的黑盒API，这使得它能够以最小的计算开销集成到现有的训练管道中。 此外，我们展示了这种方法如何用于解决真实世界数据集中的常见问题，如偏斜和偏差。通过整合来自LLM的高层知识，我们的方法即使在训练数据有限或不平衡的情况下也能提高泛化的性能。我们通过在多个任务上进行广泛实验验证其有效性，展示了改进的学习效率和模型稳健性。