arXiv:2505.01070v1 宣告类型: cross 摘要：知识蒸馏（KD）已成为一种使用更大规模的预训练教师模型来训练紧凑的学生模型的强大工具，通常需要较少的数据和计算资源。教师模型通常具有更多的层，因此相比其学生模型而言能展示出更丰富的特征表示。此外，学生模型倾向于在早期层中学习更简单、表层的特征。这种差异可能在标签和特定输入属性虚假关联的群体中增加错误，从而在总体准确性仍然能够与教师相媲美的情况下，导致群体公平性的下降。为了缓解这些挑战，早期退出神经网络（EENNs）被采用，这类网络能够在多个中间层进行预测。这些早期退出的置信边际被用于根据不同实例重新加权交叉熵损失和蒸馏损失。在本文中，我们提出利用基于拉普拉斯近似的方法获得校准良好的不确定性估计，也可以有效地重新加权具有挑战性的实例并改善群体公平性。我们假设拉普拉斯近似相比边际基方法能更稳健地识别困难或模棱两可的实例。为了验证我们的假设，我们在使用基于Bert的模型和MultiNLI数据集上对我们的方法进行了基准测试。