arXiv:2308.15022v3 公告类型: replace-cross 摘要: 最近，大型语言模型（LLMs），如GPT-4，表现出色的对话能力，使它们能够就广泛的话题进行动态和上下文相关的对话。然而，面对长对话时，这些聊天机器人无法回忆起过去的信息，倾向于生成不一致的响应。为了解决这一问题，我们提出使用大型语言模型（LLMs）递归地生成摘要/记忆以增强长期记忆能力。具体而言，我们的方法首先激发LLMs记住小对话背景，然后使用先前的记忆和后续背景递归地生成新的记忆。最后，在最新记忆的帮助下，聊天机器人可以轻松生成高度一致的响应。我们在开放和封闭系统LMMs上评估了我们的方法，广泛使用的公开数据集的实验表明，我们的方法可以生成更加一致的长期对话响应。此外，我们展示了我们的策略能够很好地补充长期对话（例如，8K和16K）和检索增强的LLMs，带来进一步的长期对话性能。值得注意的是，我们的方法是有潜力使LLM能够建模极其长的上下文。代码和脚本稍后将发布。