低秩自适应（LoRA）通过冻结原始权重并仅训练低秩矩阵，在训练中取得了显著成果，成为大语言模型（LLM）的主要微调方法。为了追求更接近全参数训练的性能，一系列 LoRA 变体应运而生，例如 LoRA+、PISSA、Olora 和 LoRA-GA。然而，这些改进使模型训练的初始设置变得复杂，并增加了初始化时间。更重要的是，它们忽略了原始权重信息的内部交互。为了解决这些问题，我们提出了一种新的理论，即“权重引导”，旨在通过训练过程中的原始权重持续引导可训练矩阵，以增强权重信息的利用。基于此理论，我们设计了一种名为 Bone（Bl\textbf{o}ck Affi\textbf{ne}）的新型 PEFT 技术，它不仅增强了原始权重信息的利用，而且强调了权重之间的内部连接，从而实现更快的收敛和更好的数据拟合。在两种不同 LLM 架构（LLaMA2、RWKV6）和各种参数规模上的实验比较表明，Bone 结构可以在无需复杂初始化的情况下实现快速收敛和优异的数据拟合。例如，当在 MetaMathQA 数据集上微调 LLaMA2-7B，并在 GSM8k 和数学基准上进行验证时，Bone 分别实现了 49.36 和 8.8 的微调分数，分别比 PISSA 高出 5.84% 和 1.96%。