arXiv:2504.12397v1 Announce Type: cross 摘要：低秩适应（LoRA）已成为一种高效框架，用于微调大型基础模型的权重，并已成为数据驱动地自定义LLMs的首选方法。尽管LoRA能够实现高度定制的行为和能力，但在多轮对话设置中切换相关的LoRA是高度低效的，因为在生成开始之前必须重新计算整个对话历史的关键值（KV）缓存，然后再应用LoRA权重。为了解决这一问题，我们提出了一种激活的LoRA（aLoRA），它将LoRA框架修改为仅适应序列 \emph{之后} 被激活的aLoRA的令牌权重。这一变化使得aLoRA能够接受基础模型的输入字符串的KV缓存，这意味着当需要在链中使用aLoRA时，可以立即激活而无需重新计算缓存。这使得构建我们所称的 \emph{内在特性} 成为可能，即高度专业化地对输入链或对话中的特定部分执行定义明确的操作的模型，而默认情况下这些操作使用基础模型。我们使用aLoRA训练了一组内在特性模型，展示了与标准LoRA相当的准确性，同时实现了显著的推理优势。