arXiv:2303.11183v3 宣布类型: replace-cross 摘要：数据免费元学习的目标是在无需访问其训练数据的情况下，从一组预训练模型中学习有用的先验知识。然而，现有工作仅在参数空间中解决该问题，这存在以下问题：(i) 忽略了预训练模型中包含的丰富数据知识；(ii) 无法扩展到大规模预训练模型；(iii) 只能对具有相同网络架构的预训练模型进行元学习。为了解决这些问题，我们提出了一种统一的框架，称为PURER，该框架包含：(1) 数据免费元训练期间的伪阶段课程反转（ECI）；和(2) 元测试期间的内环校准反转（ICFIL）。在元训练期间，我们提出ECI来执行伪阶段训练，以学习快速适应新的未见过的任务。具体而言，我们通过从中每个预训练模型提炼训练数据的方式，逐步合成一序列的伪阶段。ECI根据元模型的实时反馈自适应地增加伪阶段的难度。我们将带有ECI的元训练优化过程以端到端的方式形式化为对抗形式。在元测试期间，我们进一步提出一个简单的插件补充-ICFIL仅用于元测试，以缩小元训练和元测试任务分布之间的差距。在各种实际场景下的广泛实验表明，我们的性能优越。