arXiv:2409.09760v2 宣告类型: 替换交叉 摘要：耳聋和听力正常的歌曲手语表演者在视频分享平台上变得越来越普遍，但将歌曲翻译成手语仍然很繁琐且不易访问。我们的初步研究揭示了歌曲手语表演者面临的挑战，包括翻译中的语义、句法、表达性和节奏方面的考虑。我们提出了ELMI，这是一种可访问的歌曲手语工具，可以帮助将歌词翻译成手语。ELMI 允许用户逐行编辑手语拼写，实现实时同步的歌词和音乐视频片段。用户还可以与大型语言模型驱动的AI聊天，讨论意义、拼写、表情表现以及时间控制。通过一项涉及13名歌曲手语表演者的探索性研究，我们探讨了ELMI如何促进他们的工作流程，以及歌曲手语表演者如何利用和接受由LLM驱动的聊天进行翻译。参与者成功地将ELMI应用于歌曲手语表演，整个过程中都有积极的讨论。他们还报告说在翻译中感到更有信心和独立，认为ELMI很有鼓励作用、建设性且具有信息性。我们讨论了可访问且文化敏感的歌曲手语翻译工具的研究和设计含义。