摘要
arXiv:2501.14679v4 Announce Type: replace-cross
摘要:基于注意力的方法在球面皮层表面建模长距离依赖关系方面表现出色,超越了传统的几何深度学习(GDL)模型。然而,它们的广泛推断时间和高内存需求为使用有限计算资源的大数据集应用带来了挑战。受计算机视觉中状态空间模型的启发,我们提出了无需注意力的视觉猛兽(Vim)用于球面表面,从而为分析球面流形上的数据提供了一个通用领域架构。我们的方法通过将球面数据表示为源自细分的icosphere的三角形片段序列来实现表面分割。提出的Surface Vision Mamba(SiM)在使用新生儿大脑皮层表面指标的多种神经发育表型回归任务中进行了评估。实验结果表明,SiM 在Ico-4 网格划分下比 Surface Vision Transformer(SiT)具有 4.8 倍更快的推断速度和 91.7% 的更低内存消耗。进一步的灵敏度分析进一步突出了 SiM 在识别细微的认知发育模式方面的潜力。代码可从 https://github.com/Rongzhao-He/surface-vision-mamba 获取。