arXiv:2406.11087v5 Announce Type: replace-cross 摘要：大型语言模型在各种应用中都表现出卓越的性能。然而，在部署这些模型时可能会无意中损害用户隐私。训练过程中的显著内存需求在资源消耗方面提出了重大挑战。如此巨大的模型规模对内存资源造成了沉重的负担，提出了许多实际问题。本文介绍了一种名为DP-MemArc的新型训练框架，旨在减少大型语言模型的内存成本同时强调用户数据隐私的保护。DP-MemArc结合了侧网络或可逆网络的设计，以支持各种差分隐私高效的细调方案。我们的方法不仅在内存优化方面实现了约2.5倍的提升，还确保了强大的隐私保护，使用户数据安全保密。广泛的眼实验表明，DP-MemArc有效地提供了在不同任务场景下差分隐私高效的细调能力。