arXiv:2505.06315v1 安全公告类型: 交叉 摘要: 人工智能领域的最新进展正在将人工智能在我们世界中的普遍存在从单独的人工智能应用转化为深度整合的人工智能代理。这些变化是由代理能力的不断提高推动的，这些代理能够自主决策和发起行动，无论这些行动是否基于人工智能。这一演变使人工智能的整合达到了前所未有的水平，代理现在能够代表系统和用户采取行动——包括在某些情况下，具备自主编写和执行必要脚本的强大能力。由于人工智能系统能够自主执行代码、与外部系统交互并且无需人类监督，传统的安全方法已经不再够用。 本文引入了一种以资产为中心的方法来对集成人工智能代理进行威胁建模，以应对由这些代理带来的一系列独特安全挑战。不同于现有的自上而下框架，该框架在特定产品上下文中分析个体攻击，我们的自下而上方法使防御者能够系统地识别代理开发和部署所使用的分布式基础设施中的漏洞，无论是传统漏洞还是人工智能特有漏洞如何影响关键的人工智能资产。这种方法使安全团队能够：（1）进行全面分析，有效地跨越技术领域进行沟通，（2）在无需了解第三方人工智能组件实现细节的情况下量化安全假设，以及（3）全面识别与他们特定产品上下文相关的基于人工智能的漏洞。这种方法特别适用于保护具有复杂自主能力的代理系统。通过将重点放在资产上而非攻击上，我们的方法能够适应快速变化的威胁环境，同时容纳日益复杂和分布的人工智能开发流水线。