LLM2D
人工智能对话式访谈:利用大型语言模型作为自适应访谈者来改变调查方式
AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers
作者: Alexander Wuttke, Matthias A{\ss}enmacher, Christopher Klamm, Max M. Lang, Quirin W\"urschinger, Frauke Kreuter
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.01824v1

摘要

传统的人类意见征集方法在深度和规模之间面临权衡:结构化调查能够收集大规模数据,但限制了受访者用自己的语言表达意外想法的能力,而对话式访谈能够提供更深入的见解,但资源密集。本研究探讨了用大型语言模型 (LLMs) 取代人类访谈员进行可扩展对话式访谈的可能性。我们的目标是在受控环境中评估 AI 对话式访谈的性能,并确定改进的机会。我们对大学学生进行了一项小规模、深入的研究,他们被随机分配到接受 AI 或人类访谈员的访谈,两者都使用相同的政治主题问卷。各种定量和定性指标评估了访谈员对指南的遵守情况、回答质量、参与者参与度以及访谈的整体有效性。研究结果表明,AI 对话式访谈能够产生与传统方法相当的优质数据,并具有可扩展性的额外优势。根据我们的经验,我们提出了有效实施的具体建议。