arXiv:2504.16096v1 宣布类型: cross 摘要: 神经系统疾病，如阿尔茨海默病，诊断起来非常具有挑战性，特别是在早期阶段，症状与健康对照组极为相似。现有的脑网络分析方法主要集中在依赖成像数据的图模型上，这可能会忽略重要的非成像因素，从而限制模型的预测能力和可解释性。本文中，我们提出了BrainPrompt，这是一种创新的框架，通过将大型语言模型（LLMs）与知识驱动的提示结合，增强图神经网络（GNNs），使得能够更有效地捕捉复杂的非成像信息和外部知识，从而提高神经系统疾病识别的效果。BrainPrompt整合了三种类型的知识驱动提示：（1）区域水平提示，编码每个大脑区域的身份和功能，（2）受试者水平提示，结合人口统计信息，以及（3）疾病水平提示，捕捉疾病的时序进展。通过利用这些多层次的提示，BrainPrompt有效地利用了LLMs提供的知识增强的多模态信息，增强模型在预测神经系统疾病阶段的能力，同时提供了更具可解释性的结果。我们在两种静息态功能性磁共振成像（fMRI）数据集上评估了BrainPrompt，结果显示其优于最先进的方法。此外，一项生物标志物研究表明，该框架能够提取与神经科学领域知识相一致的有价值的、可解释的信息。