arXiv:2503.22672v1 交叉类型: 综合 摘要: 当前最先进的交叉编码器可以被微调为在段落重排序方面非常有效。交叉编码器作为重排器的典型微调过程需要大量的手动标注数据、对比学习目标以及一组启发式采样的负样本。另一种最近的微调方法则涉及通过传导目标让模型模仿高性能大型语言模型的排名。这些微调策略可以单独应用，或者按顺序应用。在本研究中，我们系统地考察了单独在一个阶段或在两个阶段按顺序微调的点对点交叉编码器的有效性。我们的实验表明，使用对比学习进行微调的点对点交叉编码器的有效性确实与使用多阶段方法进行微调的模型相当。相关代码可在 https://github.com/fpezzuti/multistage-finetuning 获取。