arXiv:2504.19956v2 宣布类型: 替换-交叉 摘要：随着生成式人工智能（GenAI）代理在企业环境中的应用越来越普遍，它们带来的安全挑战与传统系统不同。这些代理不仅仅是语言模型，它们还能够进行推理、记忆和行动，通常在极低的人类监督下进行。本文引入了一个专为GenAI代理定制的全面威胁模型，重点关注它们的自主性、持久性内存访问、复杂推理和工具集成如何创造新的风险。这项研究工作识别了9种主要威胁，并将它们组织在五大关键领域中：认知架构漏洞、时间持久性威胁、操作执行漏洞、信任边界违规以及治理规避。这些威胁不仅是理论上的，还带来了实际挑战，例如延迟的利用能力、跨系统传播、跨系统横向移动以及难以检测的微妙目标偏差。为了解决这些挑战，这项研究工作提出了两个互补的框架：ATFAA - 先进的自主AI代理威胁框架，用于组织代理特有的风险，以及SHIELD，一个提出实际缓解策略的框架，旨在降低企业暴露风险。虽然这项工作基于现有的LLM和AI安全工作，但焦点在于代理为何与众不同及其为何重要。最终，这项研究认为GenAI代理需要一种新的安全视角。如果我们未能调整我们的威胁模型和防御措施以考虑到它们的独特架构和行为，那么我们可能会把一个强大的新工具变成对企业的严重负担。