LLM2D
表面视图蟒蛇:利用双向状态空间模型进行高效球面流形表示
Surface Vision Mamba: Leveraging Bidirectional State Space Model for Efficient Spherical Manifold Representation
作者: Rongzhao He, Weihao Zheng, Leilei Zhao, Ying Wang, Dalin Zhu, Dan Wu, Bin Hu
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2501.14679v4

摘要

arXiv:2501.14679v4 Announce Type: replace-cross 摘要:基于注意力的方法在球面皮层表面建模长距离依赖关系方面表现出色,超越了传统的几何深度学习(GDL)模型。然而,它们的广泛推断时间和高内存需求为使用有限计算资源的大数据集应用带来了挑战。受计算机视觉中状态空间模型的启发,我们提出了无需注意力的视觉猛兽(Vim)用于球面表面,从而为分析球面流形上的数据提供了一个通用领域架构。我们的方法通过将球面数据表示为源自细分的icosphere的三角形片段序列来实现表面分割。提出的Surface Vision Mamba(SiM)在使用新生儿大脑皮层表面指标的多种神经发育表型回归任务中进行了评估。实验结果表明,SiM 在Ico-4 网格划分下比 Surface Vision Transformer(SiT)具有 4.8 倍更快的推断速度和 91.7% 的更低内存消耗。进一步的灵敏度分析进一步突出了 SiM 在识别细微的认知发育模式方面的潜力。代码可从 https://github.com/Rongzhao-He/surface-vision-mamba 获取。