arXiv:2505.05522v1 交叉公告类型：cross 摘要：生物大脑展示了复杂的神经活动，在这种活动中，神经元之间的时序以及相互作用对大脑处理信息至关重要。大多数深度学习架构通过抽象掉时序动态简化了神经活动。本文挑战了这一范式。通过引入神经元级的处理和同步，可以有效地重新引入神经时序作为基础元素。我们提出了连续思考机器（Continuous Thought Machine, CTM），这是一种以神经动力学为核心表示的模型。CTM 的两大创新是：（1）神经元级的时序处理，其中每个神经元使用独特的权重参数处理接收到的历史信号；以及（2）利用神经同步作为潜在表示。CTM 力求在简化神经元抽象（以提高计算效率）和生物学现实性之间取得平衡。它在能够捕捉到关键时序动态的同时，具备足够的计算可行性，适用于深度学习。我们展示了CTM在一系列具有挑战性的任务中表现出色并具备高度灵活性，包括ImageNet-1K分类、解决二维迷宫、排序、奇偶校验计算、问答以及强化学习任务。除了展示丰富的内部表示和由于其内部过程而自然地提供解释的途径外，CTM 还能够执行需要复杂序列推理的任务。CTM 还能够利用适应性计算，对于简单的任务它可以在早期停止计算，而对于更具有挑战性的实例，则继续计算。本研究的目标是分享CTM及其相关创新，而不是追求新的最先进的结果。为此，我们认为CTM代表了一个重要的步骤，朝着开发更接近生物学合理并强大的人工智能系统迈进。