LLM2D
从文本到多模态:探索大型语言模型在医疗实践中的演变和影响
From Text to Multimodality: Exploring the Evolution and Impact of Large Language Models in Medical Practice
作者: Qian Niu, Keyu Chen, Ming Li, Pohsun Feng, Ziqian Bi, Junyu Liu, Benji Peng
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.01812v1

摘要

大型语言模型 (LLMs) 已迅速从基于文本的系统发展为多模态平台,对包括医疗保健在内的各个领域产生了重大影响。这篇综合综述探讨了 LLMs 向多模态大型语言模型 (MLLMs) 的发展及其在医疗实践中的日益增长的影响力。我们考察了 MLLMs 在医疗保健中的现状,分析了它们在临床决策支持、医学影像、患者参与和研究中的应用。这篇综述强调了 MLLMs 在整合多种数据类型(如文本、图像和音频)方面的独特能力,以提供对患者健康的更全面见解。我们还探讨了 MLLM 实施所面临的挑战,包括数据限制、技术障碍和伦理考量。通过识别关键的研究差距,本文旨在指导未来在数据集开发、模态对齐方法和建立伦理准则等方面的研究。随着 MLLMs 继续塑造医疗保健的未来,了解它们的潜力和局限性对于将它们负责任且有效地整合到医疗实践中至关重要。