arXiv:2305.00948v3 通告类型: replace-cross 摘要：大型语言模型（LLMs）的性能最近得到了显著提升，现在这些模型在许多语言任务上也能表现出色。我们在这里展示了一个新的成果——这是首次证明这些模型能够生成有效的关于语言数据的元语言分析。我们提出了一项研究计划，通过提示的方式测试LLMs在这些任务上的行为可解释性。由于这些模型主要是在文本上进行训练，因此评估其元语言能力不仅提高了我们对其一般能力的理解，还为语言学中的理论模型提供了新的见解。我们显示，OpenAI的o1在涉及绘制句法树和音系概括的任务上远优于其他模型。我们推测，OpenAI的o1相较于其他模型的独特优势可能来源于其链式思维方式，这种机制模仿了在复杂认知任务（如语言分析）中人类推理的结构。