可解释人工智能（XAI）在提供透明且易于理解的复杂AI模型见解方面面临着重大挑战。传统的事后算法虽然有用，但往往难以提供可解释的解释。基于概念的模型通过引入概念的明确表示来增强可解释性，提供了一条有前景的途径。然而，现有关于自动概念发现方法的研究通常受限于低级概念、昂贵的人类标注需求以及有限的背景知识领域。在本研究中，我们探索了一种大型语言模型（LLM），特别是GPT-4，通过利用其领域知识和常识能力，为特定的图像分类设置生成对人类而言有意义的高级概念作为解释。我们通过提示使用数据中可用的最少文本对象信息来促进这一过程。为了评估输出结果，我们将LLM生成的概念与两种其他方法生成的概念进行了比较：人类生成的概念和ECII启发式概念归纳系统。由于没有确定的度量标准来判断概念对人类的可理解性，我们进行了一个人类研究以评估LLM生成的概念的有效性。我们的研究发现，尽管人类生成的解释仍然更为优越，但GPT-4生成的概念比ECII生成的更易于被人类理解。