LLM2D
与大型语言模型的博弈:提示技巧、能力差距与推理缺陷
Negotiating with LLMS: Prompt Hacks, Skill Gaps, and Reasoning Deficits
作者: Johannes Schneider, Steffi Haag, Leona Chandra Kruse
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2312.03720v2

摘要

大型语言模型(LLM),例如ChatGPT,在创纪录的时间内突破了1亿用户大关,并可能日益渗透到我们生活的方方面面,从而导致人工智能模型与人类之间出现多种多样的互动方式。虽然许多研究从第一性原理出发,演绎性地讨论了治理和监管问题,但很少有研究基于观察人与LLM之间对话的归纳性、数据驱动的方法,尤其是在可能对人类构成严重威胁的非合作性、竞争性情境中。在这项工作中,我们进行了一项用户研究,让40多位不同年龄段的参与者与LLM进行价格谈判。我们探讨了人们如何与LLM互动,研究了谈判结果和策略的差异。此外,我们还指出了LLM在推理能力方面的不足,以及由此导致的容易受到提示攻击的影响,这种攻击意图操纵LLM达成违反其指令或超越任何理性的协议。我们还表明,人类设法达成的谈判价格范围很广,这表明在有效地与LLM互动方面存在差距。