LLM2D
VERA:检索增强系统的验证与增强
VERA: Validation and Enhancement for Retrieval Augmented systems
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15364v1

摘要

大型语言模型(LLM)展现出非凡的能力,但由于它们仅仅依赖于自身嵌入的知识,因此经常会产生不准确的响应。检索增强生成(RAG)通过整合外部信息检索系统来增强LLM,在查询中提供额外的上下文,以减轻特定上下文中的不准确性。然而,准确性问题仍然存在,因为模型可能依赖于不相关的文档或从其训练知识中错误地推断。为了评估和改进RAG框架中检索系统和LLM的性能,我们提出了**VERA**(**V**alidation and **E**nhancement for **R**etrieval **A**ugmented systems),这是一个旨在:1) 评估和增强响应生成之前的检索上下文,以及 2) 评估和优化LLM生成的响应以确保精确度并最大程度地减少错误的系统。VERA采用了一个评估器兼增强器LLM,它首先检查是否需要外部检索,评估检索上下文的相关性和冗余性,并对其进行优化以消除不必要的信息。在响应生成之后,VERA将响应分成原子语句,评估它们与查询的相关性,并确保它们符合上下文。我们的实验表明,VERA不仅在提高较小的开源模型的性能方面表现出非凡的功效,而且在提高更大规模的最新模型的性能方面也表现出色。这些增强突出了VERA在产生准确且相关的响应方面的潜力,推动了检索增强语言建模领域的最新进展。VERA的强大方法结合了多个评估和优化步骤,有效地减轻了幻觉并改进了检索和响应过程,使其成为需要在信息生成中实现高准确性和可靠性的应用的宝贵工具。