针对特定任务微调大型语言模型（LLM）会带来隐私风险，因为模型可能会无意中记住和泄露敏感的训练数据。虽然差分隐私 (DP) 提供了一种减轻这些风险的解决方案，但它会带来巨大的计算和性能权衡，尤其是在使用标准微调方法时。以前的工作主要集中在全参数更新上，这在计算上非常密集，并且可能无法充分发挥大型模型中 DP 的潜力。在这项工作中，我们通过研究差分隐私约束下的参数高效微调 (PEFT) 方法来解决这些缺点。我们表明，PEFT 方法可以实现与标准微调相当的性能，同时只需要较少的参数并显著减少隐私泄露。此外，我们加入了一个包含故意错误标记的数据投毒实验，以评估模型记忆并直接衡量隐私风险。我们的研究结果表明，PEFT 方法不仅提供了一种有前景的替代方案，而且还可以作为一种补充方法，用于实现大型语言模型的隐私保护、资源高效的微调。