arXiv:2502.09242v1 宣布类型: 新 摘要: 生成型人工智能（AI）模型，如扩散模型和OpenAI的ChatGPT，正在通过提高诊断准确性和自动化临床工作流程来改变医学领域。该领域进展迅速，从仅处理文本的大语言模型（用于临床记录和决策支持任务）发展到能够整合诸如成像、文本和结构化数据等多种数据模态的多模态AI系统。这些技术的多样化景观以及不断增加的兴趣表明，对它们的应用和潜力进行全面回顾的需求。本综述探讨了多模态AI的发展演变，突出了其方法、应用、数据集及其在临床环境中的评估。根据PRISMA-ScR指南，我们系统地查询了PubMed、IEEE Xplore和Web of Science，优先考虑截至2024年底发表的最新研究。经过严格的筛选，共有144篇论文被纳入，揭示了这一动态领域的关键趋势和挑战。我们的研究结果强调了从单模态到多模态方法的转变，推动了诊断支持、医学报告生成、药物发现和对话式AI方面的新创新。然而，仍然存在关键挑战，包括异质数据类型的整合、提高模型可解释性、解决伦理问题以及在真实世界临床环境中验证AI系统。本综述总结了当前的技术状态，指出了关键的缺口，并提供了指导，以促进可扩展、可信赖且在医疗保健中具有临床影响力的多模态AI解决方案的发展。