LLM2D
大型语言模型模拟辩论中的系统性偏差
Systematic Biases in LLM Simulations of Debates
作者: Amir Taubenfeld, Yaniv Dover, Roi Reichart, Ariel Goldstein
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2402.04049v2

摘要

大型语言模型 (LLM) 的出现为构建旨在准确复制人类行为的计算模拟开辟了令人兴奋的可能性。当前研究表明,基于 LLM 的代理在性能方面越来越像人类,这激发了人们对在行为研究中使用这些 AI 代理来替代人类参与者的兴趣。然而,LLM 是复杂的统计学习器,没有直接的演绎规则,这使得它们容易出现意外行为。因此,研究和确定人类与基于 LLM 的代理之间的关键行为差异至关重要。在本研究中,我们强调了 LLM 在模拟人际互动方面的局限性,特别关注 LLM 模拟人们日常生活和决策过程重要方面的政治辩论的能力。我们的研究结果表明,LLM 代理倾向于符合模型固有的社会偏见,尽管它们被指示从某些政治角度进行辩论。这种倾向会导致行为模式,这些模式似乎偏离了人类之间公认的社会动态。我们使用自动自微调方法加强了这些观察结果,该方法使我们能够操纵 LLM 中的偏见,并证明代理随后与改变的偏见保持一致。这些结果强调了需要进一步研究以开发帮助代理克服这些偏见的方法,这是迈向创建更逼真模拟的关键一步。