LLM2D
逆向学习:一种生物学上合理的深度学习双网络方法
Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning
作者: Chia-Hsiang Kao, Bharath Hariharan
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.19841v1

摘要

尽管误差反向传播在神经网络中被广泛使用,但它因缺乏生物学上的合理性而受到批评,存在着诸如反向锁定问题和权重传输问题等问题。这些局限性促使研究人员探索更具生物学合理性的学习算法,这些算法有可能揭示生物神经系统如何适应和学习。受生物系统中观察到的逆流交换机制的启发,我们提出了逆流学习(CCL),这是一种用于神经网络中信用分配的生物学合理框架。该框架使用前馈网络处理输入数据,并使用反馈网络处理目标,每个网络通过反向平行信号传播来增强另一个网络。通过利用来自反馈网络底层的更具信息量的信号来指导前馈网络顶层的更新,反之亦然,CCL 能够同时将源输入转换为目标输出,并动态地相互影响这些转换。在使用多层感知器和卷积神经网络的 MNIST、FashionMNIST、CIFAR10 和 CIFAR100 数据集上的实验结果表明,CCL 达到了与其他生物学合理算法相当的性能,同时提供了更具生物学现实性的学习机制。此外,我们展示了我们的方法在自动编码器任务中的适用性,强调了其在无监督表示学习方面的潜力。我们的工作为生物启发和合理的学习算法提供了一个方向,为神经网络中的学习和适应提供了一种替代机制。