LLM2D
中心凹实例分割
Foveated Instance Segmentation
作者: Hongyi Zeng, Wenxuan Liu, Tianhua Xia, Jinhui Chen, Ziyun Li, Sai Qian Zhang
发布日期: 3/31/2025
arXiv ID: oai:arXiv.org:2503.21854v1

摘要

arXiv:2503.21854v1 Announce Type: cross 摘要:实例分割是增强现实和虚拟现实(AR/VR)的关键,因为它使得精确的物体识别和交互成为可能,从而增强虚拟与现实世界元素的整合,提供沉浸式的体验。然而,分割的高度计算开销限制了其在资源受限的AR/VR设备上的应用,导致处理延迟增大并降低了用户体验。与传统场景不同,AR/VR用户通常在其视野内只关注几个区域,然后才改变视角,这允许分割集中在注视特定的区域上。这一洞察驱使了对高效分割方法的需求,这些方法优先处理感兴趣的实例,从而减少计算负担并提高实时性能。在本文中,我们提出了一种视网膜实例分割(FovealSeg)框架,利用实时用户注视数据仅在感兴趣的实例上执行实例分割,从而实现显著的计算节约。评估结果表明,FSNet 在 ADE20K 上的 IoU 达到 0.56,在 LVIS 上达到 0.54,显着优于基线。代码可在 https://github.com/SAI- 获取。