LLM2D
隐私保护的少样本学习中自适应裁剪:利用有限数据增强泛化能力
Adaptive Clipping for Privacy-Preserving Few-Shot Learning: Enhancing Generalization with Limited Data
作者: Kanishka Ranaweera, Dinh C. Nguyen, Pubudu N. Pathirana, David Smith, Ming Ding, Thierry Rakotoarivelo, Aruna Seneviratne
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.22749v1

摘要

arXiv:2503.22749v1 Announce Type: cross 摘要:在数据驱动的机器学习应用时代,隐私保护和标注数据稀缺已成为主要挑战。这些挑战在少样本学习领域尤为显著,因为从少量标注数据中学习的能力至关重要。为了应对这些显著挑战,隐私保护的少样本学习算法已经浮现为一个有前景的解决方案。然而,众所周知,隐私保护技术通常会导致效用的下降,因为数据隐私和模型性能之间存在根本的权衡。为了提高隐私保护少样本学习方法的效用,我们提出了一种名为Meta-Clip的新方法。该技术特别设计用于元学习算法,包括差分隐私(DP)模型无关元学习、DP-Reptile和DP-MetaSGD算法,目的是在保护数据隐私的同时最大化学习能力。通过在训练过程中动态调整裁剪阈值,我们的自适应裁剪方法提供了对敏感信息披露的细粒度控制,减轻了小数据集上的过拟合现象,显著提高了元学习模型的泛化性能。通过在多种基准数据集上的全面实验,我们展示了该方法在最小化效用下降方面的有效性,展示了与现有隐私保护技术相比更优越的隐私-效用权衡。自适应裁剪方法代表了隐私保护少样本学习领域的重大进展,使得安全且准确的模型得以在实际应用中发展,特别是在数据紧缺的场景中。