arXiv:2410.15665v4 提交类型: 更新 摘要: 大型语言模型（LLMs）如GPT，在大规模数据集上训练后，展示了在语言理解、推理和规划方面的出色能力，并在各种任务中达到了人类级别的性能。大多数研究集中在通过训练更大的数据集来增强这些模型，以构建更强大的基础模型。虽然训练更强的模型很重要，但在推理过程中使模型能够自我进化同样至关重要，这一过程我们称之为AI自我进化。与大规模训练不同，自我进化可能依赖于有限的数据或交互。受人类大脑皮层柱状组织的启发，我们假设AI模型可以通过与其环境进行反复交互来发展认知能力并构建内部表示。为了实现这一点，模型需要长期记忆（LTM）来存储和管理处理过的交互数据。LTM 通过在各种环境中和代理之间表示多样化的经验来支持自我进化。在本报告中，我们探讨了AI自我进化及其在推理过程中增强模型的潜力。我们研究了LTM在终身学习中的作用，使模型能够根据积累的交互进行进化。我们概述了LTM的结构以及用于有效数据保留和表示的系统。我们还针对LTM数据提供了构建个性化模型的方法，并展示了这些模型如何通过交互实现自我进化。借助LTM，我们的多代理框架OMNE在GAIA基准测试中获得第一名，证明了LTM在AI自我进化中的潜力。最后，我们提出了一条未来研究的路线图，强调LTM对于推进AI技术和其实际应用的重要性。