低秩自适应（LoRA）通过冻结原始权重并仅训练低秩矩阵，在训练方面取得了显著成果，成为LLM的主要微调方法。为了追求更接近全参数训练的性能，一系列LoRA变体应运而生，例如LoRA+、PISSA、Olora和LoRA-GA。然而，这些改进使模型训练的初始设置更加复杂，并增加了初始化时间。更重要的是，它们忽略了原始权重信息的内部交互。为了解决这些问题，我们引入了一种新的理论，“权重引导”，旨在训练过程中通过原始权重持续引导可训练矩阵，以增强权重信息的利用率。基于此理论，我们设计了一种新的PEFT技术，称为Bone（**B**l**o**ck Affi**ne**），它不仅增强了原始权重信息的利用率，而且强调了权重之间的内部联系，从而实现更快的收敛和更好的数据拟合。跨两种不同LLM架构（LLaMA2、RWKV6）和各种参数规模的实验比较表明，Bone结构可以实现快速收敛和优越的数据拟合，而无需复杂的初始化。例如，当在MetaMathQA数据集上微调LLaMA2-7B并在GSM8k和数学基准上进行验证时，Bone分别获得了49.36和8.8的微调分数，分别比PISSA高出5.84%和1.96%。