arXiv:2504.08915v1 类型: cross 摘要: 视觉基础模型 (VFMs) 是大型预训练模型，构成各种视觉任务的基础。细调 VFMs 可以进一步释放其在下游任务或场景中的潜力。然而，VFMs 经常包含显著的特征冗余，这可能会限制其对新任务的适应能力。在本文中，我们研究了 segment anything 模型 (SAM) 中的冗余，并提出了一种无参数的细调方法来解决这一问题。与传统的调整参数的细调方法不同，我们的方法强调选择、重用和增强预训练特征，提供了模型细调的新视角。具体来说，我们引入了一种基于模型输出差异的通道选择算法，以识别冗余且有效的通道。通过有选择地用更有效的通道替换冗余通道，我们过滤掉不太有用的功能，并重新利用更相关的功能以适应下游任务，从而增强任务特定的功能表示。在跨域和同域数据集上的实验验证了我们方法的效率和有效性。值得注意的是，我们的方法可以无缝集成现有的细调策略（例如 LoRA、Adapter），进一步提高已细调模型的性能。此外，由于我们的通道选择仅涉及模型推理，我们的方法显著减少了计算和 GPU 内存开销。