大型语言模型 (LLM) 的快速发展彻底改变了自然语言处理，从而对高效的、特定任务的微调方法的需求日益增长。传统的 LLM 微调涉及更新大量参数，这在计算上代价高昂且内存密集。低秩自适应 (LoRA) 已成为一种很有前景的解决方案，通过减少可训练参数的数量来实现参数高效的微调。然而，虽然 LoRA 减少了可训练参数的数量，但 LoRA 模块仍然带来了巨大的存储挑战。我们提出了 LoRA-Mini，这是一种优化的 LoRA 自适应方法，它通过将低秩矩阵分成四个部分来提高参数效率，其中只有两个内部矩阵是可训练的。这种方法与标准 LoRA 相比，可训练参数的数量减少了高达 20 倍，同时保持了与标准 LoRA 相当的性能水平，解决了 LLM 微调中的计算效率和存储效率问题。