LLM2D
基于相位同步的动态外观物体跟踪
Tracking objects that change in appearance with phase synchrony
作者: Sabine Muzellec, Drew Linsley, Alekh K. Ashok, Ennio Mingolla, Girik Malik, Rufin VanRullen, Thomas Serre
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02094v1

摘要

我们在与物体交互时,经常会遇到它们外观发生变化的情况。照明(阴影)、物体姿态或非刚性物体运动的变化会极大地改变可用的图像特征。生物视觉系统如何跟踪外观变化的物体?这可能涉及特定的注意机制,用于独立于物体外观来推断物体的位置——这一能力在突出的神经科学理论中与通过神经同步进行计算有关。我们从计算角度检验了这样一个假设:通过神经同步实现视觉注意是生物视觉系统跟踪外观随时间变化的物体能力的基础。我们首先引入了一种新颖的深度学习电路,它可以通过神经同步学习精确控制对特征的注意,而与它们在世界中的位置无关:复值循环神经网络(CV-RNN)。接下来,我们使用 FeatureTracker 对人类、CV-RNN 和其他深度神经网络 (DNN) 的物体跟踪进行了比较:一项大型挑战,要求观察者在物体位置和外观以精确控制的方式发生变化的情况下跟踪物体。虽然人类毫不费力地解决了 FeatureTracker,但最先进的 DNN 却没有。相比之下,我们的 CV-RNN 在挑战中表现得与人类相似,为相位同步作为跟踪外观变化物体运动的神经基础的作用提供了计算上的概念验证。