arXiv:2409.16434v5 宣告类型: 替换交叉 摘要：参数高效调优（PEFT）在预训练模型规模扩大和需要对其进行调优以实现更好的下游性能的情况下吸引了广泛关注。尽管新出现了许多PEFT方法，但系统地研究它们的性能和适用场景的缺乏使得诸如“何时应用PEFT”和“使用哪种方法”等问题仍悬而未决，特别是在视觉识别方面。在本文中，我们对代表性的PEFT方法与视觉变换器（Vision Transformers）进行了统一的经验研究。我们系统地调整了它们的超参数，以公平地比较其在下游任务中的准确性。我们的研究提供了实用的用户指南，并揭示了几个新的见解。首先，如果仔细调整，不同PEFT方法在低样本数基准VTAB-1K上的准确性相似，这包括一些被认为较差的简单方法，如仅调优偏差项。其次，尽管具有类似的准确性，我们发现不同的PEFT方法在高信心预测上表现不同，这可能是由于它们不同的归纳偏见所致。这种不一致（或互补性）为集成方法提供了机会，我们对此进行了初步尝试。第三，超出常用的低样本数任务，我们发现PEFT在多样本数情况下也有所用，性能与全量调优相当或更优，但参数使用量显著减少。最后，我们研究了PEFT在保留预训练模型对分布转移的鲁棒性（如CLIP）方面的能力。尽管如此，PEFT方法单独优于全量调优。然而，通过权重空间集成，全量调优可以在目标分布和分布转移性能之间取得更好的平衡，这为鲁棒PEFT的未来研究方向提供了建议。