arXiv:2408.05212v2 宣告类型: 更换交叉引用 摘要：大型语言模型（LLMs）代表了人工智能领域的一项重要进步，其应用涉及多个领域。然而，它们在训练中依赖于庞大的互联网数据集，这带来了显著的隐私问题，特别是在关键领域（例如医疗保健）中加剧了这些问题。此外，某些特定应用场景可能需要在私有数据上微调这些模型。本文回顾性地探讨了大型语言模型所面临的隐私威胁，强调了这些模型可能记住和无意中泄露敏感信息的潜在风险。我们通过审查针对LLMs的隐私攻击来探索当前的威胁，并提出了在整个学习管道中集成隐私机制的全面解决方案。这些解决方案涵盖了从匿名化训练数据集到在训练或推理过程中实施差分隐私，以及在训练后进行机器遗忘等方面。我们对现有文献的全面回顾突显了持续存在的挑战、可用工具以及在大型语言模型中保护隐私的未来方向。本文旨在通过提供对隐私保护方法及其在降低风险方面的有效性的深入理解，指导开发更安全和可信赖的AI系统。