LLM2D
这究竟是真实生活?还是仅仅是幻想?用大型语言模型模拟社会互动所带来的误导性成功
Is this the real life? Is this just fantasy? The Misleading Success of Simulating Social Interactions With LLMs
作者: Xuhui Zhou, Zhe Su, Tiwalayo Eisape, Hyunwoo Kim, Maarten Sap
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2403.05020v4

摘要

大型语言模型 (LLM) 的最新进展使更丰富的社会模拟成为可能,从而可以研究各种社会现象。然而,大多数最近的工作在这些模拟中采用了更无所不知的视角(例如,单个 LLM 生成所有对话者),这与现实世界中涉及人类和 AI 代理的非无所不知、信息不对称的互动存在根本矛盾。为了检验这些差异,我们开发了一个评估框架,用于在各种环境(无所不知、非无所不知)下模拟 LLM 的社会互动。我们的实验表明,LLM 在不切实际的、无所不知的模拟环境中表现更好,但在更准确地反映现实世界条件的信息不对称环境中却难以应对。我们的研究结果表明,解决信息不对称仍然是基于 LLM 的代理面临的一个根本挑战。