摘要
arXiv:2502.04242v1 宣告类型: cross
摘要: 多源迁移学习为在实际监督学习场景中数据稀缺提供了一个有效的解决方案,通过利用多个源任务。在这一领域,现有的工作通常会在训练中使用所有可用的源样本,这限制了它们的训练效率,并可能导致次优结果。为了解决这个问题,我们提出了一种理论框架,回答了以下问题:在联合训练目标模型时,每个源任务需要多少最优数量的源样本?具体而言,我们引入了一种与交叉熵损失相一致的泛化误差度量,并基于Cramér-Rao界对其进行最小化,以确定每个源任务的最佳迁移数量。此外,我们开发了一种架构无关且数据高效的算法OTQMS,以实现我们的理论结果,用于训练深度多源迁移学习模型。在多种架构和两个实际应用场景基准数据集上的实验研究表明,我们提出的算法在准确性和数据效率上均显著优于现有最先进的方法。代码和补充材料可在https://anonymous.4open.science/r/Materials获取。