arXiv:2411.07611v3 宣布类型: replace-cross 摘要：解释对于疾病诊断至关重要，但现有的模型在平衡预测准确性与人类可理解的理由之间存在困难。虽然大型语言模型（LLMs）提供了强大的推理能力，但其在临床中的应用受限于高计算成本和受限的多模态推理能力。小型语言模型（SLMs）虽然高效，但在整合多模态医疗数据方面缺乏高级推理能力。此外，LLMs 和 SLMs 缺乏领域知识以进行可信的推理。因此，我们提出了 ClinRaGen，通过利用 LLM 提取的推理能力来增强 SLMs，并通过理由蒸馏和领域知识注入提高可信的多模态理由生成能力。关键技术包括一个序列性理由蒸馏框架，使 SLMs 具备与 LLM 相媲美的多模态推理能力，以及一个知识增强的注意力机制，该机制将时间序列和文本数据的多模态表示统一到同一个编码空间中，使 SLMs 能够自然地进行解释，并结合领域知识以实现可靠的理由生成。在现实世界医疗数据集上的实验表明，ClinRaGen 在疾病诊断和理由生成方面均达到了最先进的性能，这表明结合 LLM 驱动的推理与知识增强对于提高可解释性具有有效性。