摘要
arXiv:2504.03975v1 宣布类型: 横跨领域
摘要: 大型语言模型(LLMs)因其在各种任务上的出色能力而在研究人员和普通公众中获得了极大的 popularity。值得注意的是,LLMs 的有效性仍然显著依赖于输入提示的质量和结构,这使得提示设计成为其性能的关键因素。最近在自动化提示优化方面的进步引入了各种技术,这些技术可以自动增强提示,使其更好地与用户期望对齐。然而,这些方法通常在不同技术之间缺乏标准化和兼容性,灵活性有限,难以定制,且在同一模型规模下的性能存在不一致性,并且它们常常仅依赖于昂贵的专有 LL defense APIs。为了填补这一空白,我们提出了 GREATERPROMPT,这是一种新颖的框架,通过在统一且可定制的 API 下统一各种方法来普及提示优化,从而为不同任务提供高度有效的提示。我们的框架通过结合基于文本反馈的优化(用于更大规模的 LLMs)和基于内部梯度的优化(用于较小规模的模型)来实现强大的精准提示改进,从而灵活地适应各种模型规模。此外,我们提供了一个用户友好的 Web UI,以确保非专家用户能够无障碍地使用,从而促进更广泛的采用并提高不同用户组和应用场景下的性能。GREATERPROMPT 可通过 GitHub、PyPI 和 web 用户界面从 https://github.com/psunlpgroup/GreaterPrompt 获得。