摘要
arXiv:2503.15547v2 宣告类型: replace-cross
摘要:大型语言模型(LLMs)与工具结合,形成强大的LLM代理,提供广泛的服务。与传统软件不同,LLM代理的行为在运行时由用户或工具的数据以自然语言提示决定。这种灵活性赋予了一种具有无限能力和编程能力的新计算范式,但也引入了新的安全风险,容易受到权限提升攻击的影响。此外,用户提示容易被LLM代理以不安全的方式解释,导致非确定性行为,可能被攻击者利用。为应对这些安全风险,我们提出了提示流完整性(PFI)系统,这是一种面向系统安全的解决方案,旨在防止LLM代理的权限提升。通过分析LLM代理的架构特征,PFI包含三种缓解技术,即代理隔离、安全的不信任数据处理以及权限提升的护栏。我们的评估结果显示,PFI有效地防止了权限提升攻击,同时确保了LLM代理的实用性。