arXiv:2503.10617v3 宣布类型: 替换-交叉 摘要：将大型语言模型适应多个任务可能会导致跨技能干扰，即一个技能的改进会损害另一个技能。虽然方法如LoRA在权重级别上施加正交约束，但它们并没有完全解决隐藏状态表示中的干扰问题。我们提出了一种新的表示法方法——组合子空间表示微调（CS-ReFT），该方法学习多个正交子空间变换，每个变换专门针对一项不同的技能，并通过轻量级路由器将它们组合起来。通过在隐藏状态而不是权重矩阵中隔离这些子空间编辑，CS-ReFT 更有效地防止了跨任务冲突。在AlpacaEval基准测试中，将CS-ReFT应用于Llama-2-7B，实现了93.94%的胜率，超过了GPT-3.5 Turbo（86.30%），仅需模型参数的0.0098%。这些发现表明，通过简单的路由器组合专门的表示编辑，可以显著提高多任务指令跟随能力，且几乎没有额外开销。