arXiv:2402.11060v3 宣告类型: replace-cross 摘要：对大语言模型（LLMs）的个性化互动日益增长的需求促使人们寻求能够准确高效地识别用户意见和偏好的方法。检索增强策略因此成为一种有效的策略，因为它可以在无需微调成本的情况下容纳大量的用户。然而，现有研究主要集中在提升检索阶段的效果上，对优化数据库表示的探索却相对有限，而数据库表示对于个性化等任务至关重要。在这项工作中，我们从一个新的角度探讨了这一问题，重点在于如何更好地表示数据以提高在LLM定制化背景下的数据效率检索。为了应对这一挑战，我们提出了Persona-DB，这是一种简单而有效的框架，包含多层次构建过程以改进任务上下文间的泛化能力，以及协同精炼以有效弥合用户间的知识差距。在响应预测的评估中，Persona-DB在显著减小检索规模的情况下，仍能保持较高的上下文效率，这是在具有大量历史记录或有限上下文窗口的情况下的一项关键优势。此外，我们的实验结果还表明，在冷启动场景下，Persona-DB表现出超过10%的显著改进。当用户的数据非常稀疏时，这一点尤为重要。最后，我们的分析还揭示了随着检索能力的扩展，协同知识的重要性也在不断提升。