检索增强生成（RAG）已被证明可以提高大型语言模型（LLM）的事实准确性，但现有方法在有效利用检索到的证据方面往往推理能力有限，尤其是在使用开源 LLM 时。为了弥合这一差距，我们引入了一个新框架 Open-RAG，旨在通过开源 LLM 增强 RAG 中的推理能力。我们的框架将任意密集 LLM 转化为参数高效的稀疏专家混合（MoE）模型，能够处理复杂的推理任务，包括单跳和多跳查询。Open-RAG 独特地训练模型来应对看似相关但具有误导性的挑战性干扰因素。因此，Open-RAG 利用潜在学习，动态选择相关专家并有效地整合外部知识，以获得更准确和上下文相关的响应。此外，我们提出了一种混合自适应检索方法来确定检索必要性，并在性能提升和推理速度之间取得平衡。实验结果表明，基于 Llama2-7B 的 Open-RAG 在各种知识密集型任务中优于最先进的 LLM 和 RAG 模型，例如 ChatGPT、Self-RAG 和 Command R+。我们将在 https://openragmoe.github.io/ 上开源我们的代码和模型。