大型语言模型通常被微调以符合人类偏好，但微调大型模型在计算上非常密集且复杂。在这项工作中，我们引入了**集成价值引导**（IVG），这是一种使用隐式和显式价值函数分别在令牌和块级别引导语言模型解码的方法，从而在推理时有效地对齐大型语言模型。这种方法绕过了直接微调的复杂性，并且优于传统方法。从经验上看，我们证明了 IVG 在各种任务中的通用性。在受控情感生成和摘要任务中，我们的方法使用来自基于 $\texttt{gpt2}$ 的价值函数的推理时引导显著提高了大型模型的对齐。此外，在一个更具挑战性的指令遵循基准 AlpacaEval 2.0 中，我们表明，专门调整的和现成的价值函数都极大地提高了大型模型相对于 $\texttt{gpt-4-turbo}$ 的长度控制胜率（例如，对于 $\texttt{Mistral-7B-Instruct-v0.2}$，胜率从 $19.51\%$ 提高到 $26.51\%$，对于 $\texttt{Mixtral-8x7B-Instruct-v0.1}$，胜率从 $25.58\%$ 提高到 $33.75\%$，使用 Tulu 引导）。