大型语言模型（LLM）的快速发展凸显了参数高效微调方法的需求，低秩适应（LoRA）成为一种流行的解决方案。尽管LoRA减少了可训练参数的数量，但在基础模型之上部署多个（特定于任务或用户）LoRA模块仍然会造成巨大的存储挑战。为了解决这个问题，我们利用理论推导，引入了一种新的低秩适应方法LoRA-XS（具有极少参数的低秩适应），该方法显著减少了可训练参数，同时展现出优越或具有竞争力的性能。LoRA-XS通过在冻结的低秩矩阵之间插入一个小型的可训练r x r权重矩阵来实现这一点，这些低秩矩阵是通过原始权重矩阵的奇异值分解（SVD）构建的。这个轻量级矩阵使得微调能够以大幅减少的存储需求进行，从而可以部署数百万个个性化模型，同时最大限度地减少内存开销。例如，与LoRA相比，LoRA-XS在7B模型中将可训练参数减少了100多倍。我们在各种基准测试（包括GLUE、GSM8K、MATH和八个常识推理数据集）上的评估表明，LoRA-XS的性能与LoRA和其他最新方法（如VeRA）相比具有竞争力甚至更好，同时参数效率显著提高。我们还对Transformer权重中奇异向量的重要性进行了广泛的消融研究，揭示了驱动LoRA-XS增强效率的潜在机制。这些发现表明，LoRA-XS不仅是一种存储高效的替代方案，而且是一种强大的工具，可以以前所未有的规模扩展和个性化LLM。