尽管在各种语言任务中表现出优异的性能，但预训练的大型语言模型 (LM) 通常需要在特定数据集上进行微调，才能有效地解决不同的下游任务。然而，为了在下游任务中微调这些 LM，需要从个人收集数据，这引发了重大的隐私问题。联邦学习 (FL) 已经成为事实上的解决方案，它能够在不共享原始数据的情况下进行协作模型训练。虽然很有前景，但大型 LM 的联邦微调面临着重大挑战，包括对模型参数的访问受限以及高计算量、通信和内存开销。为了解决这些挑战，本文介绍了 **Fed**erated **P**roxy-**T**uning (FedPT)，这是一种用于黑盒大型 LM 的联邦微调的新框架，它只需要访问其在输出词汇表上的预测，而不是其参数。具体而言，FedPT 中的设备首先协作地调整一个较小的 LM，然后服务器将调整后的小型 LM 学习到的知识与较大的预训练 LM 学习到的知识相结合，构建一个大型代理调整 LM，该 LM 可以达到直接调整的大型 LM 的性能。实验结果表明，FedPT 可以显著降低计算量、通信量和内存开销，同时与大型 LM 的直接联邦微调相比保持竞争性能。FedPT 为在资源受限的设备上高效、隐私保护地微调大型 LM 提供了一种有前景的解决方案，扩展了最先进大型 LM 的可访问性和适用性。