LLM2D
基于吸引子动力学的离散、组合和符号表示
Discrete, compositional, and symbolic representations through attractor dynamics
作者: Andrew Nam, Eric Elmoznino, Nikolay Malkin, James McClelland, Yoshua Bengio, Guillaume Lajoie
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2310.01807v2

摘要

符号系统是强大的认知过程建模框架,因为它封装了人类推理和行为许多方面的基本规则和关系。系统性、组合性和生产力是这些模型的核心,使它们在认知科学和人工智能领域都具有不可估量的价值。然而,仍然存在一些局限性。例如,结构化符号过程和潜在亚符号过程的集成在计算层面上通过量化或 softmax 采样等专断方法实现,这些方法假设而不是推导出离散化和符号化的基础操作。在这项工作中,我们介绍了一种新颖的神经随机动力系统模型,该模型将吸引子动力学与符号表示相结合,以模拟类似于概率语言思想 (PLoT) 的认知过程。我们的模型将连续的表示空间分割成离散的盆地,吸引子状态对应于符号序列,这些序列通过无监督学习反映了符号系统的语义性和组合性,而不是依赖于预定义的基元。此外,与 PLoT 一样,我们的模型学习对反映输入数据和符号编码之间互信息的吸引子状态的多种分布进行采样。这种方法建立了一个统一的框架,通过神经动力学集成符号和亚符号处理,神经动力学是一种在人工智能中具有证明的表达能力的神经可信基质,提供了一个更全面的模型,反映了认知操作的复杂二元性。