arXiv:2502.13480v1 自动并行策略搜索框架类型：跨领域 摘要：在本文中，我们介绍了用于异构GPU的高效且节省成本的自动并行策略搜索框架：Astra。首先，Astra 在 GPU 配置搜索空间（GPU 类型和 GPU 数量）以及并行参数搜索空间中搜索效率最优的并行策略。然后，Astra 通过数学建模异构训练的时间消耗，提供了在异构 GPU 上的解决方案。最后，Astra 是第一个提出在节省成本方面自动并行策略搜索的方法。实验结果表明，Astra 可以实现比专家设计策略更好的吞吐量。在单 GPU 设置下，Astra 的搜索时间成本可以限制在 1.27 秒以内；在异构 GPU 设置下，平均时间成本少于 1.35 分钟，且准确率超过 95%。