LLM2D
孤立手语识别的半监督学习方法
SSLR: A Semi-Supervised Learning Method for Isolated Sign Language Recognition
作者: Hasan Algafri, Hamzah Luqman, Sarah Alyami, Issam Laradji
发布日期: 4/24/2025
arXiv ID: oai:arXiv.org:2504.16640v1

摘要

arXiv:2504.16640v1 交叉公告类型:cross 摘要:手语是听力残疾人士的主要沟通语言。手语识别(SLR)系统旨在识别手语手势并将其翻译成口语。SLR的主要挑战之一是标注数据集的稀缺性。为了解决这一问题,我们提出了一种半监督学习(SSL)的方法来解决SLR问题(SSLR),采用伪标签方法对未标记的样本进行标注。手语手势使用姿态信息表示,该信息编码了手语者的骨骼关节点。这些信息被用作在提出的SSL方法中使用的Transformer主体模型的输入。为了证明SSL在各种标记数据规模下的学习能力,我们使用不同比例的标记数据和不同类别的数量进行了多项实验。我们将SSL方法与基于完全监督学习的模型在WLASL-100数据集上进行了性能比较。在许多情况下,SSL模型在较少标记数据的情况下优于基于监督学习的模型。