arXiv:2504.14839v1 交叉类型: cross 摘要: 随着对效率要求的不断提高，信息检索已经发展出稀疏检索这一分支，进一步朝着无需推理的检索方向发展，在索引时对文档进行编码，查询时不进行模型推理。现有的稀疏检索模型依赖于FLOPS正则化进行稀疏化，虽然该机制最初是为双胞胎编码器设计的，但在无需推理的情景中被认为是不对称的次优方案。此前尝试将FLOPS适应于无需推理场景的方法主要限于基于规则的方法，使得稀疏化方法在无需推理检索模型中的潜力大为未被探索。在本文中，我们探索了基于$\ell_0$启发的无需推理的检索稀疏化方法。通过在BEIR基准上的全面离域评估，我们的方法在无需推理的稀疏检索模型中达到了最先进的性能，并且可以与领先的双胞胎稀疏检索模型相比拟。此外，我们还探讨了检索效果和计算效率之间的权衡，展示了其实用价值，适用于实际应用场景。