arXiv:2406.16535v3 宣告类型: replace-cross 摘要：在上下文学习（ICL）中，通常利用手动选择的标签标记的输出概率作为分类标准。然而，我们认为，尽管通过翻译和受限旋转进行了精细校准，基于标记的概率的分类标准导致了非最优的决策边界。为了解决这个问题，我们提出了隐藏校准（Hidden Calibration），它放弃了基于标记的概率，而是使用了语言模型（LM）的最后隐藏状态的最近质心分类器。具体来说，我们将来自校准集之前估计的最近质心的标签分配给测试样例作为预测标签。我们在6个模型和10个分类数据集上的实验表明，隐藏校准在约20%~50%的范围内一致优于当前的基于标记的基线，并在ICL中达到了一个强大的最新水平。我们的进一步分析表明，隐藏校准能找到更好的分类标准，而类间重叠较少，语言模型在示例的帮助下提供了可线性区分的类内簇，这支持了隐藏校准，并为ICL的基本原则提供了新的见解。我们的官方代码实现可以在这里找到：https://github.com/hc495/Hidden_Calibration。