LLM2D
从异质颅内记录向同质lexical声调解码
Towards Homogeneous Lexical Tone Decoding from Heterogeneous Intracranial Recordings
作者: Di Wu, Siyuan Li, Chen Feng, Lu Cao, Yue Zhang, Jie Yang, Mohamad Sawan
发布日期: 2/19/2025
arXiv ID: oai:arXiv.org:2410.12866v2

摘要

arXiv:2410.12866v2 通告类型: 替换-交叉 摘要: 近年来脑-计算机接口(BCIs)的进步使得从颅内记录中解码词汇音调成为可能,这为恢复失语音调语言使用者的沟通能力提供了潜力。然而,由生理和仪器因素引起的异质性数据导致了一种统一的侵入性脑音调解码的显著挑战。传统的针对特定受试者的模型,在异质性解码范式下运行,无法捕捉到通用的神经表示,并且不能有效地利用跨受试者的数据。为了应对这些限制,我们引入了神经表示中异质性和同质性分离学习框架(H2DiLR),这是一种新颖的框架,能够在多受试者的颅内记录中分离并学习同质性和异质性。为了评估H2DiLR,我们从多个参与者阅读包含407个音节的普通话材料中收集了立体电encephalography(sEEG)数据,这些音节几乎涵盖了所有普通话的汉字。广泛的实验表明,H2DiLR作为一种统一的解码框架,显著优于传统的异质性解码方法。此外,我们通过经验验证了H2DiLR在神经表示学习中能够有效捕捉到同质性和异质性。