arXiv:2410.14569v3 宣告类型: replace-cross 摘要：近期大型语言模型（LLMs）的发展已经确立了它们作为能够进行计划和与各种工具交互的自主系统的优势地位。这些LLM代理通常与基于网络的工具配对，以访问多样化的来源和实时信息。尽管这些进展在各种应用中提供了显著的利益，但也增加了恶意利用的风险，尤其是在涉及个人信息的网络攻击中。在此项工作中，我们研究了在涉及个人数据的网络攻击中滥用LLM代理的风险。具体而言，我们旨在理解：1) 当指示LLM代理开展网络攻击时，它们多么具有潜在的危害性，2) 基于网络的工具如何增强网络攻击，3) 利用LLM代理发起网络攻击变得多么经济实惠和容易。我们研究了三种攻击场景：个人可识别信息（PII）的收集、冒名帖子的生成以及针对特定个人的网络钓鱼邮件的创建。我们的实验揭示了LLM代理在这些攻击中的有效性：LLM代理在收集PII方面的精准度高达95.9%，生成的冒名帖子中有93.9%被认定为真实的，以及在针对特定个人的网络钓鱼邮件中增加了46.67%的点击率。此外，我们的发现强调了现有防护措施在当代商用语言模型中的局限性，突显了迫切需要采取 robust的安全措施以防止滥用LLM代理的必要性。