我们提出了一种适用于多模态大模型的自适应微调算法。该算法的核心步骤包括两个阶段的截断。首先，将大量数据投影到语义向量空间中，并使用MiniBatchKMeans算法进行自动聚类。这种分类确保了每个聚类内的数据具有高度的语义相似性。接下来，我们对每个聚类中的数据进行处理，计算多模态大模型向量空间中原数据与扰动数据之间的平移差异。这种差异作为数据的一种泛化度量。基于此度量，我们选择具有高泛化潜力的数据进行训练。我们将此算法应用于在两块3090 GPU上使用GeoChat多模态遥感数据集的三分之一训练InternLM-XComposer2-VL-7B模型。结果表明，我们的算法优于最先进的基线。在实验验证的基础上，基于我们优化选择的数据集训练的模型在各种遥感指标上的性能仅比全数据集训练的模型降低了1%。这种方法显著保留了通用能力，同时将训练时间减少了68.2%。此外，该模型在UCMerced和AID评估数据集上分别获得了89.86和77.19的分数，分别比GeoChat数据集高出5.43和5.16分。在LRBEN评估数据集上仅显示了0.91分的平均下降。