摘要
随着世界数字化进程的加速,能够自动完成复杂且单调任务的网络代理在简化工作流程方面变得至关重要。本文提出了一种通过多模态验证和自我优化来提高网络代理性能的方法。基于最先进的 Agent-E 网络自动化框架,我们对不同的模态(文本、视觉)以及层次结构对网络代理自动验证的影响进行了全面研究。我们还引入了一种用于网络自动化的自我优化机制,利用所开发的自动验证器,使网络代理能够检测并自我纠正工作流程故障。我们的结果表明,Agent-E(最先进的网络代理)的先前最先进性能得到了显著提升,在 WebVoyager 基准数据集的子集上,任务完成率从 76.2% 提升至 81.24%。本文提出的方法为在复杂、现实世界场景中构建更可靠的数字助理铺平了道路。