arXiv:2408.10276v4 宣告类型: replace-cross 摘要：基础模型在处理多种模态和任务方面展现了 remarkable 的能力，超越了那些高度针对特定任务和依赖特定模态的传统人工智能方法。然而，在医疗领域，全面的基础模型的发展受到了有限的多元模态数据访问和严格的隐私法规的限制。为了解决这些问题，本研究引入了一种新的知识注入方法 FedKIM，旨在在联邦学习框架中扩展医疗基础模型。FedKIM 利用轻量级的本地模型从私有数据中提取医疗知识，并通过一个设计好的自适应多任务多模态专家混合（M3OE）模块将这些知识整合到中心的基础模型中。这种方法不仅保护了隐私，还增强了模型处理涉及多种模态的复杂医疗任务的能力。我们在七个模态下的十二个任务上的大量实验展示了 FedKIM 在各种设置下的有效性，强调了其在无需直接访问敏感数据的情况下扩展医疗基础模型的潜力。