恶意URL分类是网络安全的一个重要方面。尽管现有工作包括许多基于机器学习和深度学习的URL分类模型，但大多数模型由于缺乏代表性的训练数据集而存在泛化和领域适应问题。此外，这些模型无法为给定的URL分类提供自然语言的解释。在这项工作中，我们研究并展示了使用大型语言模型（LLMs）来解决这一问题。具体来说，我们提出了一种基于LLM的一次性学习框架，该框架使用思维链（Chain-of-Thought, CoT）推理来预测给定的URL是良性还是钓鱼。我们使用三个URL数据集和五个最先进的LLM评估了我们的框架，并表明一次性LLM提示确实提供了接近监督模型的性能，其中GPT 4-Turbo表现最佳，其次是Claude 3 Opus。我们对LLM解释进行了定量分析，并表明大多数LLM提供的解释与监督分类器的后验解释一致，并且这些解释具有高可读性、连贯性和信息量。