arXiv:2504.07448v1 类型: cross 摘要：低秩适应（LoRA）已成为一种流行的参数高效微调（PEFT）方法，适用于大型语言模型（LLMs），但仍然会产生显著的开销，并且在多任务场景中会遭受参数干扰。我们提出了LoRA with Reduced Interference（LoRI），这是一种简单而有效的方法，冻结投影矩阵$A$为随机投影，并使用任务特定的掩码稀疏化矩阵$B$。这种设计大幅减少了可训练参数的数量，同时保持了强大的任务性能。此外，LoRI通过利用适配器子空间之间的正交性来最小化适配器合并过程中的跨任务干扰，并通过使用稀疏性来缓解灾难性遗忘，从而支持连续学习。在自然语言理解、数学推理、代码生成和安全对齐任务的广泛实验中，LoRI表现出色，参数效率比LoRA高95%以上。在多任务实验中，LoRI能够减少跨任务干扰，实现有效的适配器合并和连续学习。代码可在以下链接获取：https://github.com/juzhengz/LoRI