arXiv:2412.00029v2 宣告类型: 修改 摘要：低秩适应（LoRA）层已经成为了高效模型微调的一种有前途的方法，但它们的能力和局限性还没有被完全探索。本文：1）调查了LoRA层是否能在增强推理+计划能力方面发挥作用这一基本问题；2）我们引入了哈希链推理（HashChain Reasoning），一种新颖的评估数据集，用于确定性测试推理能力。通过针对GPT-2进行系统性的消融研究，我们展示了推理能力似乎主要存在于低秩空间中，可以通过LoRA层有效地增强。训练后的LoRA矩阵的有效秩分析表明，相对于计划任务，推理任务需要2-3倍更低的秩要求，这为LoRA层在何处有效提供了背景信息。这也为推理基础性地偏好低参数空间来进行泛化提供了证据。