LLM2D
基于截断拉普拉斯机制的私有语言模型
Private Language Models via Truncated Laplacian Mechanism
作者: Tianhao Huang, Tao Yang, Ivan Habernal, Lijie Hu, Di Wang
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.08027v1

摘要

针对自然语言处理任务的深度学习模型容易受到各种隐私攻击。为了防止隐私泄露,研究人员已经研究了词级扰动,依赖于嵌入空间中差分隐私(DP)的正式保证。然而,许多现有的方法要么在使用拉普拉斯或高斯机制时在高隐私制度下取得了不令人满意的性能,要么诉诸于比规范 DP 隐私强度更弱的 DP 放松。这引发了一个问题,即是否可以设计一种新的私有词嵌入方法来克服这些限制。在本文中,我们提出了一种新的私有嵌入方法,称为高维截断拉普拉斯机制。具体来说,我们介绍了截断拉普拉斯机制的非平凡扩展,该机制以前仅在单维空间情况下进行过研究。从理论上讲,我们表明我们的方法与之前的私有词嵌入方法相比具有更低的方差。为了进一步验证其有效性,我们使用三个数据集对私有嵌入和下游任务进行了综合实验。值得注意的是,即使在高隐私制度下,我们的方法与非私有场景相比,效用仅略有下降。