大型语言模型 (LLMs) 为数据有限的预测建模提供了强大的手段，可以利用先验知识。在这项工作中，我们展示了 LLMs 如何利用其压缩的世界知识来生成本质上可解释的机器学习模型，即决策树，而无需任何训练数据。我们发现，这些零样本决策树在某些小型表格数据集上可以超越数据驱动树，并且从这些树中提取的嵌入在平均情况下与数据驱动树基嵌入的性能相当。因此，我们的知识驱动决策树归纳和嵌入方法为低数据环境下的数据驱动机器学习方法提供了强有力的新基线。