LLM2D
关于个性化对话代理的记忆构建与检索
On Memory Construction and Retrieval for Personalized Conversational Agents
作者: Zhuoshi Pan, Qianhui Wu, Huiqiang Jiang, Xufang Luo, Hao Cheng, Dongsheng Li, Yuqing Yang, Chin-Yew Lin, H. Vicky Zhao, Lili Qiu, Jianfeng Gao
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2502.05589v1

摘要

arXiv:2502.05589v1 Announce Type: cross 摘要:为了在长时间对话中提供连贯和个性化的体验,现有方法通常通过在会话历史的转录级、会话级或通过总结技术构建记忆库,实现检索增强的响应生成。在本文中,我们提出了两个关键发现:(1) 内存单元的粒度很重要:转录级、会话级和基于总结的方法在记忆检索准确性以及检索内容的语义质量方面各自存在局限性。(2) 诸如 \textit{LLMLingua-2} 等提示压缩方法可以有效地作为去噪机制,在不同粒度上提高记忆检索准确性。基于这些洞察,我们提出了一种名为 SeCom 的方法,该方法通过引入对话分割模型构建主题段落的记忆库,同时基于压缩的记忆单元进行记忆检索。实验结果表明,在如 LOCOMO 和 Long-MT-Bench+ 这样的长时间对话基准测试中,SeCom 比转录级、会话级以及一些基于总结的方法表现更优。此外,提出的对话分割方法在 DialSeg711、TIAGE 和 SuperDialSeg 等对话分割数据集上表现出卓越性能。