arXiv:2504.21063v1 宣布类型: cross 摘要: 联邦域泛化(FedDG)旨在从异质数据的分散客户端中学习一个可泛化到全局的模型，同时保持隐私。最近的研究通过学习单一全局提示来引入提示学习，将提示学习应用于FedDG中的视觉语言模型(VLMs)，以适应FedDG。然而，这种单一提示适应所有学习范式通常导致个性化样本上的性能下降。尽管专家混合(MoE)为专业化提供了前景，但现有的基于MoE的方法深受细粒度图像级专家分配和基于参数路由器的高昂通信成本的影响。为了应对这些局限性，我们提出TRIP，一种基于Token级提示混合的参数自由路由框架，将多个提示视为不同的专家。与现有的图像级路由设计不同，TRIP将图像内的不同Token分配给特定的专家。为了确保通信效率，TRIP引入了一种基于Token聚类和最优运输的参数自由路由机制。然后，通过按每个分配给专家的Token数量加权聚合专家来生成实例特定的提示。此外，TRIP开发了一种无偏的学习策略，利用了VLM的零样本泛化能力。在四个基准测试中的广泛实验表明，TRIP实现了最优泛化结果，并且每轮通信仅为1K参数。我们的代码可在https://github.com/GongShuai8210/TRIP获取。