LLM2D
可穿戴智能喉部设备使中风性构音障碍患者能够自然发声
Wearable intelligent throat enables natural speech in stroke patients with dysarthria
作者: Chenyu Tang, Shuo Gao, Cong Li, Wentian Yi, Yuxuan Jin, Xiaoxue Zhai, Sixuan Lei, Hongbei Meng, Zibo Zhang, Muzi Xu, Shengbo Wang, Xuhang Chen, Chenxi Wang, Hongyun Yang, Ningli Wang, Wenyu Wang, Jin Cao, Xiaodong Feng, Peter Smielewski, Yu Pan, Wenhui Song, Martin Birchall, Luigi G. Occhipint
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18266v1

摘要

可穿戴无声语音系统在恢复言语障碍患者的交流方面具有巨大潜力。然而,流畅、连贯的语音仍然难以实现,其临床疗效尚未得到证实。本文介绍了一种人工智能驱动的智能喉咙 (IT) 系统,该系统将喉肌振动和颈动脉脉搏信号传感器与大型语言模型 (LLM) 处理相结合,以实现流畅、富于情感表达的交流。该系统利用超灵敏的纺织应变传感器从颈部区域采集高质量信号,并支持令牌级处理以进行实时、连续的语音解码,从而实现无缝、无延迟的通信。在对五名患有构音障碍的中风患者进行的测试中,IT 的 LLM 智能体能够有效地纠正令牌错误,并增强句子层面的情感和逻辑连贯性,实现了较低的错误率(字错误率 4.2%,句子错误率 2.9%),用户满意度提高了 55%。这项工作建立了一个便携式、直观的交流平台,供患有构音障碍的患者使用,并有可能广泛应用于不同的神经系统疾病和多语言支持系统。