arXiv:2503.20282v1 宣传类型: cross 摘要: 参数高效的调优(PET)旨在通过学习少量参数将预训练的基础模型转移到下游任务上。与更新整个模型的传统微调相比，PET 在任何情况下都显著减少了每个任务的存储和传输成本，即使预训练模型的容量呈指数级增长也是如此。然而，大多数PET方法继承了其大型骨干模型的推理延迟，并且由于额外模块（例如适配器）的引入，经常增加了额外的计算开销，限制了它们在计算密集型应用中的实用性。在本文中，我们提出了一种新颖的方法快速参数高效的调优(FPET)，该方法在保持高存储效率的同时增强了推理速度和训练效率。具体来说，我们引入了一个即插即用的令牌冗余减少模块，专门设计用于PET。该模块使用适配器对自我注意层的令牌进行细化，以学习令牌之间的准确相似性，并通过完全可微的令牌合并策略切断令牌，该策略使用直通过估估计器进行最优令牌减少。实验结果证明，我们的FPET在保持与最先进的PET方法相当的性能的同时，实现了更快的推理速度和更高的内存效率。