近期研究探索利用知识图谱（KG）增强大型语言模型（LLM）的问答（QA）性能，然而结构化KG的语义化表达仍然具有挑战性。现有的方法，例如将三元组形式的事实转换为三元组形式或自由文本形式，存在一些问题。这些问题包括由于实体或关系重复导致证据密度降低，以及由于无法强调关键证据导致证据清晰度降低。为了解决这些问题，我们提出了EFSum，一个面向证据的事实摘要框架，用于增强知识增强型LLM的问答性能。我们通过蒸馏和偏好对齐优化一个开源LLM作为事实摘要器。我们的大量实验表明，EFSum提高了LLM的零样本QA性能，并且可以同时保证摘要的有用性和忠实性。