arXiv:2407.21300v4 宣告类型: replace-cross 摘要：检索增强生成（RAG）在借助外部知识数据库协助大型语言模型（LLMs）的信息检索方面取得了显著的成效。然而，RAG 也存在很多问题，由于庞大的数据库，它消耗了大量的内存，并且在面对大规模流式数据时无法及时更新已建立的索引数据库。为了同时减少构建数据库所需内存并保持准确性，我们提出了一种新的方法，将流式算法与 k-means 聚类相结合应用于 RAG。我们的方法使用流式算法动态更新索引以降低内存消耗。此外，k-means 算法将高度相似的文档聚类，从而缩短查询时间。我们对四种方法进行了比较实验，结果表明，集成流式算法和 k-means 聚类的 RAG 在准确性和内存使用上优于传统的 RAG，特别是在处理大规模流式数据时表现尤为突出。