arXiv:2504.04915v1 类型: 跨领域 摘要: 回忆增强生成（RAG）系统在处理多跳问答任务时经常因为不相关的上下文检索和有限的复杂推理能力而难以准确处理。我们引入了Collab-RAG，这是一种基于白盒小型语言模型（SLM）与黑盒大型语言模型（LLM）之间相互增强的合作训练框架，以改善RAG系统的性能。具体来说，白盒小型语言模型将复杂查询分解为更简单的子问题，从而提高检索的准确性，并使黑盒大型语言模型进行更有效的推理。同时，黑盒大型语言模型提供反馈信号以提升白盒小型语言模型的分解能力。我们观察到，Collab-RAG仅依赖于可负担得起的黑盒大型语言模型的监督，而无需来自前沿大型语言模型的额外蒸馏，并且在多个黑盒大型语言模型上展示了强大的泛化能力。在五个多跳问答数据集上的实验评估表明，Collab-RAG在所有现有仅黑盒模型和SLM微调基线上的平均性能提高幅度为1.8%-14.2%。特别是，我们微调的3亿参数小型语言模型超过了冻结的32亿参数大型语言模型在问题分解方面的表现，突显了Collab-RAG在提高复杂问题的推理和检索方面的能力。Collab-RAG的代码可在https://github.com/ritaranx/Collab-RAG/获得。