arXiv:2503.19530v1 类型: cross 摘要: 普通的PEFT方法通过假设增量权重更新本质上是低秩的，从而实现了参数效率，但这往往导致与全面微调相比性能差距。尽管最近的方法试图解决这一局限性，但它们通常缺乏足够的参数和内存效率。我们提出了VectorFit，这是一种有效且易于部署的方法，能够自适应地训练预训练权重矩阵的奇异向量和偏置。我们展示了利用预训练权重的结构和转换特性可以实现与全面微调相当的高秩更新。作为结果，VectorFit在与最新PEFT方法相比的训练参数数量减少了9倍的情况下，实现了更优的性能。通过在自然语言理解和生成、问答、图像分类和图像生成等多种领域的17个数据集上进行广泛的实验，我们展示了VectorFit即使在预算极低的场景中也能超越基线方法。