arXiv:2504.12397v2 通知类型: 交叉替换 摘要：低秩适应（LoRA）已成为一种高度高效的框架，用于微调大规模基础模型的权重，并已成为数据驱动定制LLM的首选方法。尽管自定义行为和能力的前景诱人，在多轮设置中切换相关的LoRA是高度低效的，因为在生成开始之前，整个对话历史的关键值（KV）缓存必须根据LoRA权重重新计算。为了解决这个问题，我们提出了一种激活LoRA（aLoRA），它修改了LoRA框架，仅适应序列中aLoRA被调用之后的令牌的权重。这一改变至关重要地使得aLoRA能够接受基础模型的输入字符串的KV缓存，这意味着aLoRA可以在链条中无论何时需要即时激活而无需重新计算缓存。这使得我们可以构建所谓的“固有特性”，即一种高度专门化的模型，用于在默认情况下使用基础模型的部分输入链或对话上执行定义良好的操作。我们使用aLoRA训练了一组固有特性模型，展示了与标准LoRA相当的准确性，同时实现了显著的推理优势。