基于大型语言模型的网络代理的最新进展带来了新的架构和基准，展示了自主网络导航和交互的进步。然而，大多数现有的基准优先考虑有效性和准确性，而忽略了安全性和可信度等关键因素，而这些因素对于在企业环境中部署网络代理至关重要。不安全的网络代理行为的风险，例如意外删除用户帐户或在关键业务操作中执行意外操作，对广泛采用构成了重大障碍。在本文中，我们提出了 ST-WebAgentBench，这是一个新的在线基准，专门用于评估企业环境中网络代理的安全性和可信度。该基准基于一个详细的框架，该框架定义了安全和可信 (ST) 代理的行为，概述了 ST 策略的结构方式，并引入了策略完成度指标来评估代理性能。我们的评估表明，当前的 SOTA 代理难以遵守策略，并且无法用于关键业务应用程序。此外，我们提出了旨在提高网络代理策略意识和合规性的架构原则。我们开源了这个基准，并邀请社区贡献，目标是培养新一代更安全、更可信的 AI 代理。