arXiv:2502.04700v2 宣布类型: replace-cross 摘要：大规模模型的快速发展引起了对其环境影响和访问公平性的担忧，因为这带来了显著的计算成本。低秩适配器（LoRA）提供了一种轻量级的微调解决方案，从而产生了大量面向不同领域的公开可用适配器。我们提出的问题是：这些预训练的适配器是否可以进一步简化到新任务的适应过程，并解决这些挑战？我们引入了EigenLoRAx，这是一种高效的参数微调方法，通过回收现有适配器来创建与它们共享知识领域对齐的主子空间，可以在资源受限场景中进一步通过正交基向量增强。这种方法通过仅学习子空间主成分的轻量级系数来实现对新任务的快速适应——从而消除了完全微调整个适配器的需要。EigenLoRAx需要显著减少的参数和内存，提高了训练和推理的效率。我们的方法在各种领域和任务上表现出强大的性能，为边缘应用、个性化和资源受限环境中的大型模型的公平部署提供了可扩展的解决方案。