检索增强生成（RAG）是一种过程，其中大型语言模型（LLM）从数据库中检索有用信息，然后生成响应。它在企业日常业务运营中变得越来越流行。例如，Microsoft 365的Copilot已经积累了数百万家企业用户。然而，采用这种RAG系统的安全影响尚不明确。 本文介绍了ConfusedPilot，一类RAG系统的安全漏洞，这些漏洞会混淆Copilot并导致其响应的完整性和机密性违规。首先，我们研究了一种漏洞，该漏洞在RAG的修改提示中嵌入恶意文本，从而破坏LLM生成的响应。其次，我们展示了一种漏洞，该漏洞利用检索过程中的缓存机制泄露秘密数据。第三，我们研究了如何利用这两种漏洞在企业内部传播错误信息，并最终影响其运营，如销售和制造。我们还通过研究RAG系统的架构来讨论这些攻击的根本原因。本研究突出了当今RAG系统中的安全漏洞，并提出了设计指南以确保未来RAG系统的安全性。