arXiv:2502.04645v1 声明类型: cross 摘要：神经排序模型（NRMs）在信息检索任务中迅速提升了最新的性能。在本项工作中，我们调查了一种MiniLM的Cross-Encoder变体，以确定它计算哪些相关性特征以及这些特征存储在哪里。我们发现，它以一种可解释的方式使用了传统的BM25的语义变体，其中包括局部组件：（1）通过控制词汇项饱和度和文档长度效应来计算软词频的Transformer注意力头，（2）其嵌入矩阵的低秩组件，编码词汇表中的逆文档频率信息。这表明Cross-Encoder使用与BM25相同的基本机制，但进一步利用它们的能力来捕捉语义以提高检索性能。这种精细的理解为模型编辑提供了基础，以增强模型透明度、解决安全问题，并提高训练和实际应用中的扩展性。