arXiv:2502.13313v1 宣告类型: 新 摘要: 我们研究了在保持高计算效率的同时，精调大型语言模型（LLMs）时，在最小化隐私风险和最大化实用性之间固有的权衡。近年来，隐私研究中的许多工作试图通过使用差分隐私训练方法（例如，DP）来减轻由于记忆精调数据而导致的隐私风险，但代价是显著增加的计算成本（低效率）。与此同时，系统研究中的许多工作则集中于开发高效的精调方法（例如，LoRA），但很少有研究探索这些高效的精调方法是增强还是减少了隐私风险。在这篇论文中，我们研究了这一缺口并得出了一个令人惊讶的结论：像LoRA这样的高效精调方法在减轻隐私风险方面与像DP这样的私人精调方法相似。我们的实证发现直接反驳了在精调过程中隐私和效率目标相冲突的普遍看法。我们的发现通过以下方式建立：（a）仔细定义区分训练和测试数据集中敏感和非敏感标记的隐私和实用性衡量标准；（b）使用来自Pythia、Gemma和Llama家族的多个开源语言模型以及不同领域特定数据集进行广泛的评估。