LLM2D
唤醒AI:大型语言模型由提示引发的相变的定量框架
Waking Up an AI: A Quantitative Framework for Prompt-Induced Phase Transition in Large Language Models
作者: Makoto Sato
发布日期: 5/2/2025
arXiv ID: oai:arXiv.org:2504.21012v2

摘要

arXiv:2504.21012v2 宣告类型: replace-cross 摘要:直觉的人类思维是什么?探讨这个问题的一种方法是将人类和大型语言模型(LLMs)的认知动态进行比较。然而,这种比较需要一种在受控条件下定量分析AI认知行为的方法。尽管有迹象表明某些提示可以显著改变LLM的行为,但这些观察主要仍为定性的。在这里,我们提出了一种两部分框架来探讨这一现象:触发LLM响应快速转变的过渡提示(TIP),以及使用另一个LLM评估这种变化的过渡量化提示(TQP)。通过受控实验,我们考察了LLM在嵌入两个语义上相距甚远的概念(例如,数学无周期性与传统工艺)时的反应,这些概念或被融合在一起或单独呈现——通过改变其语言质量和情感调性。人类倾向于在有意义地融合这些概念时产生一个新概念(一种概念融合的形式)时经历更多的参与,而当前的LLMs在语义融合和非融合提示之间显示出响应性方面的显著差异并不明显。这表明,LLMs可能尚未复制人类直觉中所见的概念整合过程。我们的方法能够进行精细、可重复的认知响应度测量,并可能有助于阐明人工智能与人类思维中直觉和概念飞跃的关键差异是如何出现的。