arXiv:2305.18413v3 通知类型: 替换交叉 摘要：数据免费元学习（DFML）旨在通过从预训练模型集合中进行元学习来高效地学习新任务，而不需要访问训练数据。现有的DFML工作只能从（i）白盒模型和（ii）小型预训练模型（iii）具有相同架构的模型中进行元学习，忽视了用户只能访问具有任意模型架构和模型规模的API推理接口的更加实际的设置。为了解决这一问题，我们提出了一种双向数据免费元知识蒸馏（BiDf-MKD）框架，以从一组黑盒API中转移更通用的元知识到一个单一的元模型。具体而言，通过仅仅查询API，我们使用零阶梯度估计器将每个API反转以恢复其训练数据，然后通过一种新颖的双向元知识蒸馏结构进行元学习，在该结构中，我们设计了一种边界查询集合恢复技术，以恢复决策边界附近更具信息量的查询集。此外，为了在API预算有限的设置中促进更好的泛化，我们提出了任务记忆重放，通过覆盖更多插值任务来多样化底层任务分布。在各种真实世界场景中的广泛实验显示了我们提出的BiDf-MKD框架的优越性能。