摘要
文本排序领域取得了重大进展,这归功于预训练语言模型(PLMs)增强了双编码器。鉴于可用的 PLMs 数量众多,为给定数据集选择最有效的 PLMs 成为一项非凡的挑战。作为对人类直觉和暴力微调的有力替代,迁移性估计(TE)已成为一种有效的模型选择方法。然而,当前的 TE 方法主要针对分类任务设计,其估计的迁移性可能与文本排序的目标不一致。为了解决这一挑战,我们建议将预期排名作为迁移性进行计算,明确反映模型的排名能力。此外,为了减轻各向异性并纳入训练动态,我们自适应地缩放各向同性句子嵌入,以产生准确的预期排名得分。我们最终的方法,自适应排名迁移性(AiRTran),可以有效地捕捉模型之间的细微差异。在各种文本排序数据集上的具有挑战性的模型选择场景中,它在时间消耗很小的前提下,与之前的面向分类的 TE 方法、人类直觉和 ChatGPT 相比,取得了显著的改进。