大型语言模型 (LLM) 在复杂问答 (QA) 场景中的性能提升一直是研究的重点。最近的研究尝试通过将分步规划与外部检索相结合来增强LLM的性能。虽然这种方法对GPT-3.5等高级模型有效，但较小的LLM在分解复杂问题方面面临挑战，需要进行监督式微调。以前的工作依赖于人工标注和来自教师LLM的知识蒸馏，这既费时又不够准确。在本文中，我们提出了一种新颖的框架，通过使用来自知识图谱 (KG) 的规划数据来增强LLM的规划能力。使用此数据微调的LLM具有改进的规划能力，使其能够更好地处理涉及检索的复杂QA任务。在多个数据集（包括我们新提出的基准）上的评估结果突出了我们框架的有效性和KG衍生规划数据的优势。