基础模型在处理多种模态和任务方面展示了显著的能力，超越了高度依赖特定任务和模态的传统人工智能方法。然而，在医疗领域，全面基础模型的发展受到多样模态数据获取受限和严格隐私法规的制约。为应对这些限制，本研究提出了一种新颖的知识注入方法FedKIM，旨在联邦学习框架内扩展医疗基础模型。FedKIM利用轻量级本地模型从私有数据中提取医疗知识，并通过设计的自适应多任务多模态混合专家（M3OE）模块将这些知识整合到集中式基础模型中。该方法不仅保护了隐私，还增强了模型处理涉及多模态的复杂医疗任务的能力。我们在七种模态的十二项任务上的广泛实验证明了FedKIM在各种环境中的有效性，突显了其在不直接访问敏感数据的情况下扩展医疗基础模型的潜力。