近年来，知识图谱 (KG) 已成功地与大型语言模型 (LLM) 相结合，以缓解其幻觉问题并增强其推理能力，例如在基于 KG 的检索增强框架中。然而，当前的 KG-LLM 框架缺乏严格的不确定性估计，限制了它们在高风险应用中的可靠部署。由于其复杂的架构以及知识图谱和语言模型组件之间错综复杂的交互，直接将不确定性量化纳入 KG-LLM 框架面临挑战。为了填补这一空白，我们提出了一种新的可信 KG-LLM 框架，即不确定性感知知识图谱推理 (UAG)，该框架将不确定性量化纳入 KG-LLM 框架。我们设计了一个不确定性感知的多步推理框架，该框架利用一致性预测来提供对预测集的理论保证。为了管理多步过程的错误率，我们还引入了错误率控制模块，以调整各个组件内的错误率。大量实验表明，我们提出的 UAG 可以实现任何预定义的覆盖率，同时与基线相比，平均将预测集/区间大小减少 40%。