arXiv:2504.14145v1 宣布类型: cross 摘要：大型多模态模型（LMMs）已经在多种模态的理解和生成任务中展示了出色的性能。虽然这些模型能够接受灵活的输入数据组合，但它们的训练效率因模型架构异构性导致的管道阶段不平衡以及多模态数据多样性导致的训练数据动态性而受损。 在本文中，我们提出了PipeWeaver，一种为LMM训练设计的动态管道调度框架。PipeWeaver的核心是动态交错管道，它可以动态地为当前训练批次寻找最适合的管道调度。PipeWeaver通过两种技术解决了LMM训练的问题：自适应模态感知分区和在层次调度空间内高效管道调度搜索。同时，PipeWeaver利用了SEMU（步进模拟器），这是一种多模态模型的训练模拟器，可以进行准确的性能估计，并通过空间-时间子图重用提高搜索效率。实验结果显示，与最先进的系统相比，PipeWeaver可以将LMM训练效率提高97.3%，并且展示了对LMM训练数据动态性极好的适应性。