尽管大型语言模型（LLMs）取得了显著的成功，但它们在将输出与用户指令对齐方面仍然能力有限。在本工作中，我们介绍了一种简单有效的方法，我们将其命名为GUIDE，它机制地增加了指令标记的注意力分数。为了支持此操作，我们提出了Influence，这是一种新颖的指标，它突出了用户指令如何在Transformer层中传播并影响LLM输出。我们的结果表明，GUIDE 将遵循指令的准确性提高了 29.4% 至 60.4%，优于自然提示替代方案和高达 100 万个标记的监督微调。