arXiv:2411.07611v2 宣告类型: replace-cross 摘要：解释对于疾病诊断至关重要，但现有模型难以平衡预测精度与人类可理解的推理原因。虽然大语言模型（LLMs）提供了强大的推理能力，但由于计算成本高和受限的跨模态推理能力，其在临床中的应用受到限制。小型语言模型（SLMs）效率高但缺乏高级跨模态医学数据整合能力。此外，LLMs 和 SLMs 在可信赖推理方面的领域知识也有所欠缺。因此，我们提出了 ClinRaGen，通过利用 LLM 引擎化的推理能力来增强 SLMs，结合推理提炼和领域知识注入，以实现可信的跨模态推理生成。关键技术包括一个顺序推理提炼框架，使 SLMs 具备与 LLM 相媲美的跨模态推理能力，以及一种增强知识的注意机制，它可以统一时间序列和文本数据的多模态表示，在同一个编码空间中自然地被 SLMs 解释，并结合领域知识以实现可靠的解释生成。在真实世界的医学数据集上的实验表明，ClinRaGen 在疾病诊断和解释生成方面达到了最先进的性能，表明利用 LLM 引擎化的推理与知识增强相结合以提高解释性是有效的。