LLM2D
我们应在提示中工程化什么?基于需求驱动的大语言模型使用培训人类
What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use
作者: Qianou Ma, Weirui Peng, Chenyang Yang, Hua Shen, Kenneth Koedinger, Tongshuang Wu
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2409.08775v3

摘要

arXiv:2409.08775v3 宣告类型: replace-cross 摘要:提示大型语言模型完成复杂任务(例如构建旅行顾问聊天机器人)需要人类清晰地阐述定制化的要求(例如,“以摘要的形式开始回应”)。然而,现有的提示工程指导往往缺乏对要求表述的专门训练,反而倾向于强调日益自动化的策略(例如,添加角色扮演和“逐步思考”等技巧)。为解决这一问题,我们引入了要求导向的提示工程(ROPE)这一范式,该范式专注于在提示过程中引导人类生成清晰、完整的具体要求。我们通过一个评估和培训套件来实现ROPE,该套件提供基于大型语言模型生成反馈的刻意练习。在30名新手参与的随机对照试验中,ROPE相较于传统的提示工程训练显著表现更好(分别为20%和1%的提升),而自动提示优化无法弥合这一差距。此外,我们展示了输入要求质量与大型语言模型输出之间的直接相关性。我们的工作为更多最终用户能够构建复杂的大型语言模型应用打开了大门。