LLM2D
大型语言模型是否胜任谈判者?对大型语言模型在谈判对话中多方面能力的系统性评估
Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues
作者: Deuksin Kwon, Emily Weiss, Tara Kulshrestha, Kushal Chawla, Gale M. Lucas, Jonathan Gratch
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2402.13550v2

摘要

成功的谈判需要多种能力,包括理解对话语境、运用心智理论推断对方动机、进行策略推理以及有效沟通,这使得自动化系统难以实现。尽管大型语言模型 (LLM) 在各种自然语言处理任务中表现出色,但目前尚无对其在谈判中的能力进行系统评估。这种评估对于推进人工智能谈判代理和谈判研究至关重要,涵盖从设计对话系统到提供教学反馈和扩展数据收集实践等各个方面。本研究旨在系统地分析大型语言模型在典型谈判互动各个阶段的多种对话场景中的多方面能力。我们的分析突出了 GPT-4 在许多任务中的优异表现,同时指出了其面临的具体挑战,例如进行主观评估以及生成上下文相关且具有战略优势的回应。