arXiv:2502.05832v1 类型: cross 摘要：近年来，在隐私和性能之间寻求妥协，人们广泛采用少量样本模型压缩方法来应对因隐私和安全问题导致的数据有限的问题。然而，当可用样本数量极其有限时，类别不平衡成为一个常见且棘手的问题。在实际应用中，实现所有类别样本数量相等往往成本高且不切实际，而先前关于少量样本模型压缩的研究大多忽略了这个问题。我们的实验全面表明，类别不平衡会负面影响少量样本模型压缩方法的整体性能。为了解决这个问题，我们提出了一种新的自适应框架，称为OOD增强少量样本模型压缩（OE-FSMC）。该框架将容易获取的域外（OOD）数据整合到压缩和微调过程中，有效地重新平衡了训练分布。我们还引入了一种联合蒸馏损失和正则化项，以降低模型过度拟合域外数据的风险。在多个基准数据集上的广泛实验表明，我们的框架可以无缝地集成到现有的少量样本模型压缩方法中，有效地缓解了类别不平衡导致的准确度下降。