arXiv:2410.21491v2 通知类型: replace-cross 摘要：分布式学习（DL）通过使用多个节点来加速训练，从而使大规模模型的高效优化成为可能。随机梯度下降（SGD），作为关键的优化算法，在这一过程中发挥着重要作用。然而，通信瓶颈往往限制了可扩展性和效率，导致越来越多地采用压缩SGD技术来缓解这些问题。尽管压缩SGD可以在一定程度上解决通信开销问题，但它引入了信任性问题，因为节点之间的梯度交换容易受到梯度反转（GradInv）和成员推理攻击（MIA）等攻击的影响。压缩SGD的信任性尚未得到研究，留有很多关于其可靠性的未回答问题。 在本文中，我们对压缩SGD与未压缩SGD的信任性进行了评估。具体地，我们通过使用GradInv攻击进行了实证研究，发现压缩SGD在抵御隐私泄漏方面显著优于未压缩SGD。此外，我们的研究结果还表明，MIA可能不是一个评估分布式学习中隐私风险可靠的度量标准。