大型语言模型 (LLM) 在许多自然语言理解和生成任务中展现出卓越的能力。然而，个性化问题仍然是一个非常令人向往的特性，尤其是在涉及对话系统中的多个来源时。为了更好地规划和整合使用多个来源生成个性化响应，我们首先将其分解为三个子任务：知识源选择、知识检索和响应生成。然后，我们提出了一种新颖的统一多源检索增强生成系统 (UniMS-RAG)。具体来说，我们在训练过程中将这三个具有不同表述的子任务统一到同一个序列到序列范式中，以自适应地检索证据并使用特殊的标记（称为动作标记和评估标记）按需评估相关性。使语言模型能够生成动作标记有助于与各种知识源交互，使其能够适应不同的任务需求。同时，评估标记衡量对话上下文和检索到的证据之间的相关性分数。此外，我们精心设计了一种自我完善机制，以迭代地完善生成的响应，考虑 1) 生成的响应和检索到的证据之间的一致性分数；以及 2) 相关性分数。在两个个性化数据集 (DuLeMon 和 KBP) 上的实验表明，UniMS-RAG 在知识源选择和响应生成任务上实现了最先进的性能，它本身以统一的方式充当检索器。我们提供了广泛的分析和讨论，为个性化对话系统提供了一些新的视角。