摘要
顺序记忆,即以正确顺序形成并准确回忆一系列事件或刺激的能力,是生物和人工智能的基本先决条件,因为它支撑着许多认知功能(例如语言理解、计划、情景记忆形成等)。然而,现有的顺序记忆方法存在灾难性遗忘、容量有限、学习过程迭代缓慢、低阶马尔可夫记忆,以及最重要的是无法表示和生成来自相同上下文的多重有效未来可能性。受认知神经科学理论的启发,我们提出了“预测吸引子模型 (PAM)”,这是一种具有理想生成特性的新型序列记忆架构。PAM 是一种流式模型,它通过观察每个输入“仅一次”来以在线、连续的方式学习序列。此外,我们发现 PAM 通过皮质微柱中的横向抑制独特地表示过去上下文,从而避免了灾难性遗忘,防止新记忆覆盖先前学习的知识。PAM 通过从一组预测的可能性中采样来生成未来预测;这种生成能力是通过与预测器一起训练的吸引子模型实现的。我们证明 PAM 通过在生物学上合理的框架中使用 Hebbian 可塑性规则进行局部计算训练。本文讨论了其他理想特征(例如噪声容忍度、基于 CPU 的学习、容量扩展)。我们的研究结果表明,PAM 代表了在追求生物学上合理且计算高效的顺序记忆模型方面取得的重大进步,对认知科学和人工智能研究具有广泛的意义。