大型语言模型（LLMs）在许多自然语言理解和生成任务中展现了卓越的能力。然而，个性化问题仍然是一个备受追捧的特性，尤其是在对话系统涉及多个来源的情况下。为了更好地规划和整合多个来源以生成个性化响应，我们首先将其分解为三个子任务：知识源选择、知识检索和响应生成。随后，我们提出了一种新颖的统一多源检索增强生成系统（UniMS-RAG）。具体而言，我们在训练过程中将这三个子任务以不同的形式统一到相同的序列到序列范式中，通过使用称为行为标记和评估标记的特殊标记，自适应地检索证据并按需评估相关性。使语言模型生成行为标记有助于与各种知识源进行交互，使其能够根据不同的任务需求调整行为。同时，评估标记衡量对话上下文与检索证据之间的相关性得分。此外，我们精心设计了一种自精炼机制，通过考虑1）生成响应与检索证据之间的一致性得分；2）相关性得分，来迭代精炼生成的响应。在两个个性化数据集（DuLeMon和KBP）上的实验表明，UniMS-RAG在知识源选择和响应生成任务中以统一的方式作为检索器，达到了最先进的性能。我们还提供了广泛的分析和讨论，以期为个性化对话系统提供新的视角。