摘要
arXiv:2504.04365v1 交叉类型:cross
摘要:大型语言模型(LLMs)的表现取决于其调用方式,这包括高级触发模式(例如,零样本、CoT、ReAct、ReWOO)和具体触发内容(指令和少样本示范)。手动调整这种组合既繁琐又容易出错,并且不适用于不同的LLMs或任务。因此,本文提出了AutoPDL,一种自动发现良好LLM代理配置的方法。我们的方法将此问题视为组合搜索空间中实体性和非实体性触发模式和示范的结构化自动化机器学习问题,并使用逐步淘汰高效导航该空间。我们介绍了一个使用PDL触发编程语言实现常用触发模式的库。AutoPDL解决方案是使用该库编写的人类可读、可编辑和可执行的PDL程序。该方法还支持源到源优化,允许人工参与的改进和重新使用。在三个任务和六种LLM(参数范围从8亿到70亿)上的评估显示,一致的准确性增益(9.5±17.5百分点),最高可达68.9个百分点,并揭示了所选触发策略在不同模型和任务之间有所不同。