arXiv:2409.12384v1 公告类型: 交叉 摘要: 深度学习模型能够通过从大量标注良好的数据中提取丰富知识来实现高推理精度，但在实际部署中可能带来数据隐私泄露的风险。本文提出了一种有效的师生学习方法，通过差分隐私的无数据蒸馏来训练隐私保护的深度学习模型。其主要思想是生成合成数据，以学习一个能够模仿在私有数据上训练良好的教师模型能力的学生模型。在该方法中，首先通过将教师模型作为固定判别器，以无数据的方式预训练生成器。利用生成器，可以生成大量合成数据用于模型训练，而不会暴露数据隐私。然后，将合成数据输入教师模型以生成私有标签。为此，我们提出了一种称为选择性随机响应的标签差分隐私算法来保护标签信息。最后，在私有标签的监督下，在合成数据上训练学生模型。通过这种方式，数据隐私和标签隐私在统一的框架下得到了良好的保护，从而实现了隐私保护的模型。广泛的实验和分析清楚地证明了我们方法的有效性。