arXiv:2504.19956v1 安全公告类型: cross 摘要：随着生成式人工智能（GenAI）代理在企业环境中的普及，它们引入了与传统系统截然不同的安全挑战。这些代理不仅仅是大语言模型（LLM），它们能够推理、记忆和行动，往往在最少的人类监督下进行操作。本文介绍了一个专为GenAI代理设计的综合威胁模型，重点探讨了它们的自主性、持久性内存访问、复杂的推理以及工具集成所带来的新型风险。这项研究工作识别了9个主要威胁，并将它们组织在五个关键领域中：认知架构漏洞、时间持久性威胁、操作执行漏洞、信任边界违规和治理规避。这些威胁不仅仅是理论上的，它们带来了实际挑战，例如延迟的利用性、跨系统传播、跨系统的横向移动和难以用现有框架和标准方法检测到的微妙目标偏离。为了应对这些挑战，这项研究工作提出了两个互补框架：ATFAA - 自主人工智能代理的高级威胁框架，该框架组织了代理特有的风险，以及SHIELD，一个提出实际缓解策略的框架，旨在减少企业风险暴露。尽管这项工作建立在现有的LLM和AI安全工作之上，但重点在于代理的不同之处以及为什么这些区别很重要。最终，这项研究认为，需要为GenAI代理提供一种新的安全视角。如果我们不适应现有的威胁模型和防御措施，来应对它们的独特架构和行为，那么我们可能会将一个强大的新工具转变为严重的企业责任。