LLM2D
试图成为人类:语言模型中随机同理心的语言痕迹
Trying to be human: Linguistic traces of stochastic empathy in language models
作者: Bennett Kleinberg, Jari Zegers, Jonas Festor, Stefana Vida, Julian Pr\"asent, Riccardo Loconte, Sanne Peereboom
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01675v1

摘要

在当今世界中,区分生成内容和人工撰写的内容对于导航至关重要。大型语言模型 (LLM) 是计算机生成内容质量提升的关键驱动力。据报道,人类越来越难以识别一段文字是否由人工智能模型生成。我们的工作测试了两个重要因素如何影响人机对抗:同理心和表现得像人类的动机。我们在两个实验中探讨了这两个方面:人类参与者和最先进的 LLM 编写了关系建议(研究 1,n=530)或单纯的描述(研究 2,n=610),指示他们尽可能地像人类一样,或者不这样指示。然后,新的样本人类 (n=428 和 n=408) 对文本的来源进行了判断。我们的研究结果表明,当需要同理心时,人类表现出色。与预期相反,表现得像人类的指示只对 LLM 有效,因此人类的优势减弱了。计算文本分析表明,LLM 变得更加人性化,因为它们可能对什么是人性化的文本有一个隐含的表示,并且毫不费力地应用这些启发式方法。该模型采用对话式、自我指称的、非正式的语气,并使用更简单的词汇来模仿随机同理心。我们根据最近关于 LLM 表现相当的论点讨论了这些发现。