arXiv:2502.10239v1 Announce Type: cross 摘要：联邦微调提供了一种有前途的方法，在边缘设备上调整大型语言模型（LLMs）同时保持数据隐私。然而，由于对内存、通信和计算需求的高要求，在边缘设备上微调这些模型仍然具有挑战性。零阶优化结合任务对齐提供了一种潜在的解决方案，使得在推理级别的内存要求下进行微调，但需要更长的收敛时间。在本文中，我们提出了联邦分割扰动零阶优化（FedSPZO），该方法将网络分成两块，在计算上有效的方式对每块应用不同数量的扰动，从而实现了更快的收敛。我们的评估结果显示，与联邦学习中的零阶优化最新技术相比，计算开销减少了2.5到7倍。