arXiv:2412.04060v2 宣告类型: 替换 摘要: 扩展现有的学习系统以为更多的领域，例如新用户，提供高质量的定制模型，面临着标注数据有限以及数据和设备异构性的挑战。虽然知识蒸馏方法可以克服标签稀缺和设备异构性的问题，但它们假设老师的模型完全可靠，并忽视了数据异构性，这阻碍了现有模型的直接应用。为了解决这一问题，本文提出了一种框架 HaT 以扩展学习系统。该框架首先以低成本从系统中选择多个高质量的模型，然后通过为它们的预测分配样本级别的权重来融合它们的知识。之后，基于知识的质量，选择性地将融合的知识注入到定制模型中。在不同任务、模式和设置下的广泛实验表明，与最先进的基线相比，HaT 的准确率提高了最多 16.5%，通信流量节省了最多 39%。