摘要
arXiv:2504.07840v1 交叉论文类型:交叉研究
摘要:大型语言模型(LLMs)通过使人工智能聊天机器人基于自然语言的沟通成为可能,从而变革了人机交互。这些模型旨在直观且用户友好,使用户能够以最小的努力表达需求。然而,尽管它们易于访问,研究表明用户在有效提示方面常常遇到困难,导致响应效率低下。现有研究强调了LLMs在解释含糊不清或结构不良的提示方面的局限性,以及用户在构建精确查询方面面临的困难。本研究通过一项教育实验调查了学习者与AI的交互,该实验为参与者提供了有效的提示的结构化指导。我们引入并比较了三种提示规范类型:通过结构化方法开发的任务特定框架以及两种基线方法。为了评估用户行为和提示的有效性,我们分析了来自107名用户的642次交互的数据集。使用Von NeuMidas,即LLM交互分析的扩展实用主义注释方案,我们对常见提示错误进行分类,并识别反复出现的行为模式。然后,我们通过检查用户行为变化、遵循提示策略的情况以及AI生成响应的整体质量来评估不同规范的影响。我们的发现提供了对用户如何与LLMs互动以及结构化提示指导在增强AI辅助沟通中的作用的更深层次理解。通过比较不同的指导框架,我们为提高用户在AI互动中的能力提供了见解,这对于AI素养、聊天机器人可用性和设计更响应的AI系统具有意义。