尽管大型语言模型 (LLMs) 近年来取得了重大进展，显著增强了各种自然语言处理任务的生成能力，但它们在直接处理检索任务方面仍然存在局限性。然而，许多实际应用需要无缝集成检索和生成。本文提出了一种新颖且高效的一步生成和检索框架 (OneGen)，旨在提高 LLM 在需要生成和检索的双重任务上的性能。该框架通过整合自动回归生成的检索标记，弥合了传统上针对生成和检索的独立训练方法之间的差距。这使得单个 LLM 能够在统一的前向传递中同时处理这两个任务。我们在两种不同类型的复合任务（RAG 和实体链接）上进行了实验，以验证 OneGen 在训练和推理中的可插拔性、有效性和效率。此外，我们的结果表明，将生成和检索集成到同一个上下文中，既保留了 LLM 的生成能力，又提高了检索性能。据我们所知，OneGen 是第一个使 LLM 能够在生成过程中进行向量检索的框架。