大型语言模型（LLMs）在自然语言任务中取得了显著成功，但理解其推理过程仍然是一个重要挑战。我们通过引入XplainLLM来解决这一问题，这是一个伴随解释框架的数据集，旨在增强LLM的透明性和可靠性。我们的数据集包含24,204个实例，每个实例使用知识图谱（KGs）和图注意网络（GAT）来解释LLM的推理行为，并包括对仅解码器Llama-3和仅编码器RoBERTa等LLM的解释。XplainLLM还提供了一个生成有根据的解释的框架以及用于多维质量分析的调试分数。我们的解释包括选择原因和不选择原因的组件、推理元素和调试分数，这些共同阐明了LLM的推理行为。我们的评估表明，XplainLLM有潜力减少幻觉并改进LLM中有根据的解释生成。XplainLLM是研究人员和从业者建立信任和验证LLM输出可靠性的资源。