摘要
arXiv:2502.02196v1 交叉识别手势语识别挑战类型:交叉
摘要:在本文中,我们展示了我们在2025年WWW会议上举行的交叉视角孤立手势语识别(CV-ISLR)挑战中的解决方案。CV-ISLR 解决了传统孤立手势语识别(ISLR)中的一个关键问题,即现有数据集主要捕捉正面视角的手势视频,而实际拍摄角度则经常变化。为了准确从不同视角识别手势语,模型必须能够理解多角度的手势,从而使跨视角识别变得具有挑战性。为了解决这一问题,我们探索了集成学习的优势,这可以增强模型在多样视角下的鲁棒性和通用性。我们的方法基于多维视频Swin Transformer模型,利用这种集成策略实现了竞争力的表现。最后,我们的解决方案在RGB基的ISLR和RGB-D基的ISLR赛道中均排名第3,表明其在处理跨视角识别挑战方面的有效性。代码可在以下链接获取:https://github.com/Jiafei127/CV_ISLR_WWW2025。