LLM2D
基于克拉默-拉奥下界的数据高效多源迁移学习的理论框架
A Theoretical Framework for Data Efficient Multi-Source Transfer Learning Based on Cram\'er-Rao Bound
作者: Qingyue Zhang, Haohao Fu, Guanbo Huang, Yaoyuan Liang, Chang Chu, Tianren Peng, Yanru Wu, Qi Li, Yang Li, Shao-Lun Huang
发布日期: 2/7/2025
arXiv ID: oai:arXiv.org:2502.04242v1

摘要

arXiv:2502.04242v1 宣告类型: cross 摘要: 多源迁移学习为在实际监督学习场景中数据稀缺提供了一个有效的解决方案,通过利用多个源任务。在这一领域,现有的工作通常会在训练中使用所有可用的源样本,这限制了它们的训练效率,并可能导致次优结果。为了解决这个问题,我们提出了一种理论框架,回答了以下问题:在联合训练目标模型时,每个源任务需要多少最优数量的源样本?具体而言,我们引入了一种与交叉熵损失相一致的泛化误差度量,并基于Cramér-Rao界对其进行最小化,以确定每个源任务的最佳迁移数量。此外,我们开发了一种架构无关且数据高效的算法OTQMS,以实现我们的理论结果,用于训练深度多源迁移学习模型。在多种架构和两个实际应用场景基准数据集上的实验研究表明,我们提出的算法在准确性和数据效率上均显著优于现有最先进的方法。代码和补充材料可在https://anonymous.4open.science/r/Materials获取。