LLM2D
为什么你会这样建议?人类对语言模型响应的信任
Why Would You Suggest That? Human Trust in Language Model Responses
作者: Manasi Sharma, Ho Chit Siu, Rohan Paleja, Jaime D. Pe\~na
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2406.02018v2

摘要

大型语言模型(LLMs)的出现揭示了对人机协作日益增长的需求,特别是在创造性决策场景中,信任和依赖至关重要。通过对 LaMP 基准中开放式新闻标题生成任务的人类研究和模型评估,我们分析了解释的框架和存在方式如何影响用户信任和模型性能。总的来说,我们提供了证据表明,在用户有机会比较不同响应的情况下,在模型响应中添加解释以证明其推理的合理性,可以显著提高用户对模型的自评信任度。这些解释的位置和忠实度也是重要的因素。然而,当用户独立查看响应时,这些收益消失了,这表明当用户单独查看时,人类对所有模型响应(包括欺骗性响应)的信任程度是相同的。我们的发现促使未来的研究更深入地探讨人机协作系统中信任的细致评估。