许多现实世界数据集的结构本质上是分层的，因此对这些层次结构进行建模是无监督和监督机器学习中的一个关键目标。最近，人们提出了使用深度架构进行层次聚类的全新方法。在这项工作中，我们对这一研究方向进行了批判性的分析，并表明许多方法在应用于现实数据集时存在重大局限性，部分原因是其计算复杂度高。特别是，我们表明，在预训练的非层次聚类模型之上实现的轻量级程序优于专门为层次聚类而设计的模型。我们提出的方法计算效率高，适用于任何输出 logits 的预训练聚类模型，无需任何微调。为了突出我们发现的普遍性，我们说明了我们的方法如何在监督环境中应用，从预训练的 ImageNet 分类器中恢复有意义的层次结构。