尽管在大语言模型在许多自然语言处理（NLP）任务中取得了成功，但它们在知识密集型任务中仍然难以有效地利用知识，表现出诸如生成不完整、非事实或不合逻辑的答案等局限性。这些局限性源于大语言模型在普通微调期间缺乏对知识的意识。为了解决这些问题，我们提出了一种知识感知微调（KnowTuning）方法，以提高大语言模型对细粒度和粗粒度知识的意识。我们设计了一个细粒度知识增强阶段，以训练大语言模型识别答案中难以获取的细粒度知识。我们还提出一个粗粒度知识比较阶段，以训练大语言模型从三个方面区分可靠和不可靠的知识：完整性、真实性和逻辑性。在通用和医疗问答（QA）数据集上进行的大量实验通过自动和人工评估验证了 KnowTuning 的有效性，涵盖了各种规模的大语言模型。我们进一步验证了 KnowTuning 在细粒度事实评估下能够生成更多的事实，并且事实错误率更低。