摘要
arXiv:2411.09413v2 宣告类型: replace-cross
摘要:自闭症谱系障碍(ASD)的早期诊断在很大程度上依赖于系统观察和分析儿童的社会行为。尽管当前的方法主要采用监督学习方法,但它们在临床上的应用面临两大主要限制:ASD诊断样本不足以及检测结果的解释性不足。本文提出了一种基于剧本中心的行为理解与情感增强的新颖零样本ASD检测框架,旨在克服上述临床限制。所提出的方法管线通过计算机视觉技术自动将视听数据转换为结构化的行为文字剧本,然后利用大型语言模型(LLMs)的泛化能力进行零样本/少样本ASD检测。介绍了三项核心技术贡献:(1) 一个多模态脚本转录模块,将行为线索转化为结构化的文本表示。(2) 一种情感文本化模块,将情感动力编码为上下文特征,以增强行为理解。(3) 一种领域特定的提示工程技术策略,使临床知识注入LLMs。我们的方法在平均年龄为两岁的儿童中诊断ASD的F1分数达到95.24%,同时生成可解释的检测理由。这项工作为利用LLMs分析和理解ASD相关的社会行为提供了新的途径,从而提高了辅助自闭症诊断的准确性。