预训练大型语言模型 (LLM) 能够回答在训练过程中不太可能遇到的问题。然而，在推理系统这一广泛领域中存在着各种潜在的应用，并且诸如延迟、成本、可用计算资源和互联网连接等因素与确定合适的方法相关。我们考虑在推理时可利用一些本地计算能力但没有互联网连接的场景。 类似于通用 LLM，我们假设我们更小的推理模型可能会被问及来自未知分布的任意问题，因此我们专注于在未见过的场景中进行评估。我们通过灌输在检索到的上下文上进行推理的能力来训练我们的模型以回答各种问题。我们从两个知识来源获取上下文：使用具有新颖扩展的多跳密集检索系统查询的维基百科语料库，以及从针对在低资源环境中运行进行了优化的更大语言模型生成的理由。 我们的主要贡献：我们提出了新颖的方法来证明我们的模型能够在不进行记忆的情况下回答情境化问题。我们在未见过的评估数据集上建立了一套全面的基线结果。我们表明，在推理模型的训练方案中添加新颖的检索增强训练数据集 (RATD) 会显著改善结果。我们通过应用结合来自两个来源的知识的方法进一步证明了显著的改进。第一种方法 (RR) 涉及训练一个新颖的理由排序模型，以根据相关性和真实性对生成的理由和检索到的上下文进行评分。我们使用这些分数来导出组合上下文。我们还表明，利用 RATD 数据集使我们的模型能够熟练地利用组合的噪声上下文。