arXiv:2412.16874v4 通告类型: 重新提交 摘要：自动检测和评估失语症的严重程度对于提供针对性的治疗方法至关重要。尽管目前大多数现有的研究主要集中在语音模态，本研究提出了一种新的方法，同时利用了语音和文本模态。通过使用跨注意力机制，我们的方法学习了语音和文本表示之间的声学和语言相似性。该方法具体评估了不同严重程度下的发音偏差，从而提高了失语症检测和严重程度评估的准确性。所有实验均使用了UA-Speech失语症数据库。当使用依赖说话者和独立于说话者、未见过的词和见过的词设置时，检测准确率分别提高了99.53%和93.20%，严重程度评估准确率分别达到了98.12%和51.97%。这些发现表明，通过整合文本信息，即提供了参考语言知识，开发出了一种更 robust 的框架来检测和评估失语症，从而有可能导致更有效的诊断。