arXiv:2407.02694v2 宣告类型: replace-cross 摘要：在本文中，我们展示了大规模语言模型（LLMs）的一项令人惊讶的能力：仅给定输入特征名称和预测任务的描述，它们就能够选择最具预测性的特征，其性能与数据科学中的标准工具相当。更令人惊讶的是，这些模型在各种查询机制中都表现出这种能力。例如，我们对LLM进行零 Shot 提示，使其输出一个特征（如“血压”）在预测目标结果（如“心力衰竭”）中的数值重要性得分，没有任何额外的背景信息。特别是，我们发现最新的模型，如GPT-4，能够在不同的查询机制和各种提示策略下一致地识别出最具预测性的特征。我们通过在实际数据上的大量实验来说明这些发现，在这些实验中，我们展示了基于LLM的特征选择在下游训练数据从未见过的情况下始终能够实现与数据驱动方法（如LASSO）相当的强劲表现。我们的研究结果表明，LLMs不仅可以用于选择训练的最佳特征，还可以用于决定首先收集哪些特征。这在数据收集成本高昂的领域，如医学和社会科学中，将对从业人员大有裨益。