arXiv:2409.11593v2 宣告类型: replace-cross 摘要：自主操作的代理受益于终身学习能力。然而，兼容的训练算法必须符合这些系统的分散特性，这在参数数量和计算资源方面都提出了限制。前馈-前馈（FF）算法就是其中之一。FF 仅依赖于与推理相同的前向操作来优化逐层目标。这一纯前向方法消除了传统反向传播中所需的转置操作的需要。尽管有潜力，FF 在大多数标准基准任务上未能达到最先进的性能，部分原因是由于不稳定的无监督学习中生成负数据的方法不可靠。 在这项工作中，我们提出了自我对比前馈-前馈（SCFF）算法，这是一种竞争性的训练方法，旨在缩小这一性能差距。SCFF 受标准自我监督对比学习用于视觉任务的启发，生成适用于各类数据集的正和负输入。该方法在多个基准数据集（包括 MNIST、CIFAR-10、STL-10 和 Tiny ImageNet）上的无监督局部学习算法中表现出优越的性能。我们还将 FF 的应用扩展到递归神经网络的训练，进一步将其应用于序列数据任务的实用性。这些发现为资源受限的边缘设备上的高精度、实时学习铺平了道路。