摘要
arXiv:2504.02074v1 分类: 交叉学科
摘要:功能固着是一种认知偏差,限制了用户与新系统或工具的互动仅限于预期或熟悉的模式,这限制了大型语言模型(LLM)赋能的聊天搜索的全部潜力,特别是在复杂和探索性任务中。为了探究其影响,我们进行了一个包含450名参与者的众包研究,每位参与者完成了六项涵盖公共安全、饮食和健康管理、可持续性和AI伦理的不同决策任务。参与者与ChatGPT进行多提示对话以解决任务,使我们能够比较聊天前的意图预期与实际互动。我们发现:1)聊天前的预期多个方面与用户以前与ChatGPT、搜索引擎和虚拟助手的 experience 相关;2)以前的系统经验影响语言使用和查询行为。频繁使用ChatGPT的用户减少了指示代词和模糊词汇的使用,并频繁调整查询。拥有丰富搜索经验的用户维持了结构化、非对话性的查询,并进行了少量修改。虚拟助手的用户偏好指令性的、类似命令的查询,强化了功能固着;3)当系统未能满足预期时,参与者生成了更详细的查询,并增加了语言多样性,反映了适应性转变。这些发现表明,虽然预设的预期限制了早期的互动,但未满足的预期可以促进行为上的适应。适当的系统支持这可能促进更广泛的探索LLM的能力。这项工作还介绍了聊天搜索中用户意图的分类,并突出了减轻功能固着的重要性,以支持更富有创造性和分析性的使用LLM。