arXiv:2406.11087v4 宣告类型: replace-cross 摘要：大型语言模型在多种应用中多次展现出卓越的性能。然而，部署这些模型可能会无意中威胁用户隐私。训练过程中对内存的巨大需求在资源消耗方面构成了重大挑战。这种庞大的规模给内存资源带来了沉重的负担，提出了显著的实际关切。在本文中，我们引入了DP-MemArc，这是一种新颖的训练框架，旨在减少大型语言模型的内存成本，同时强调用户数据隐私的保护。DP-MemArc融合了侧网络或可逆网络设计，以支持各种差分隐私内存高效微调方案。我们的方法不仅实现了内存优化，还确保了稳健的隐私保护，使用户数据安全保密。广泛的实验证明，DP-MemArc有效提供了在不同任务场景下的差分隐私高效微调。