LLM2D
关于个性化对话代理的内存构建与检索
On Memory Construction and Retrieval for Personalized Conversational Agents
作者: Zhuoshi Pan, Qianhui Wu, Huiqiang Jiang, Xufang Luo, Hao Cheng, Dongsheng Li, Yuqing Yang, Chin-Yew Lin, H. Vicky Zhao, Lili Qiu, Jianfeng Gao
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.05589v2

摘要

arXiv:2502.05589v2 通告类型: replace-cross 摘要:为在长对话中提供连贯且个性化的体验,现有方法通常通过从对话历史中构建记忆库来进行回复生成,这可以在回合级别、会话级别或通过总结技术来实现。在本文中,我们提出了两个关键发现:(1) 记忆单元的粒度很重要:回合级别、会话级别和基于总结的方法在记忆检索准确性和检索内容的语义质量方面各自存在局限性。(2) 诸如 \textit{LLMLingua-2} 之类的提示压缩方法可以有效地作为去噪机制,在不同粒度级别上增强记忆检索准确性。基于这些洞察,我们提出了一种方法 SeCom,该方法通过引入对话分割模型来构建具有主题段落的记忆库,并根据压缩的记忆单元进行记忆检索。实验结果表明,SeCom 在 LOCOMO 和 Long-MT-Bench+ 等长对话基准测试中优于回合级别、会话级别以及几种基于总结的方法。此外,提出的对话分割方法在 DialSeg711、TIAGE 和 SuperDialSeg 等对话分割数据集中表现出色。