近年来，参数高效迁移学习（PETL）因预训练模型规模的不断扩大以及对下游任务进行微调（FT）以获得更高性能的需求而备受关注。这种社区范围的热情引发了大量新方法的出现。然而，缺乏对这些方法的性能和适用场景进行系统性研究，导致何时应用PETL以及选择哪种方法等问题仍然没有得到解答。本文对视觉Transformer背景下的代表性PETL方法进行了统一的实证研究。我们对这些方法的超参数进行了系统性调整，以公平地比较它们在下游任务上的准确率。我们的研究不仅提供了有价值的用户指南，还揭示了一些新的见解。首先，如果仔细调整，不同的PETL方法可以在低样本基准VTAB-1K上获得相当的准确率。这包括像FT偏差项这样的简单方法，这些方法被认为效果较差。其次，虽然准确率相似，但我们发现PETL方法犯了不同的错误并做出了不同的高置信度预测，这可能是由于它们的归纳偏差不同。这种不一致（或互补性）为集成方法提供了机会，我们对此进行了初步尝试。第三，超越常用的低样本任务，我们发现PETL在多样本场景下也有用——它使用更少的可学习参数，实现了与全FT相当甚至更好的准确率。最后但并非最不重要的是，我们研究了PETL保留预训练模型对分布偏移（例如，CLIP骨干）的鲁棒性的能力。也许并不令人惊讶的是，PETL方法优于单独的全FT。然而，使用权重空间集成，全FT模型可以在下游和非分布性能之间实现更好的平衡，这为PETL的未来研究方向提供了启示。