模型合并作为一种通过结合不同训练模型的权重来创建新模型的创新方法，正引起广泛关注。尽管先前的研究表明，模型合并在单一数据集上使用不同随机种子训练的模型中表现良好，但不同数据集之间的模型合并问题仍未解决。本文尝试揭示在不同数据集上训练的模型合并的困难，并提出缓解措施。我们的实证分析表明，与单一数据集场景相比，在合并不同数据集上训练的模型时，需要访问数据集信息以实现高准确性。然而，使用完整数据集的要求不仅带来了显著的计算成本，而且在整合由他人开发和共享的模型时成为主要限制。为此，我们展示了数据集缩减技术，如核心集选择和数据集浓缩，能够有效减少模型合并的数据需求。在SPLIT-CIFAR10模型合并实验中，使用完整数据集时准确率提高了31%，使用采样子集时提高了24%，相比之下，不使用数据集时准确率显著提升。