大型语言模型展现出令人印象深刻的推理能力，但由于缺乏个体用户偏好信息，难以提供个性化内容。现有的方法，例如上下文学习和参数高效微调，在捕捉人类偏好的复杂性方面存在不足，尤其是在个体拥有的个人数据集较小的情况下。本文提出了一种新方法，利用小型参数模型作为偏好代理来生成自然语言规则，指导更大的预训练模型，从而实现高效的个性化。我们的方法涉及一个小型、局部的“方向盘”模型，它引导大型基础模型的输出，生成符合个人偏好的内容，同时利用大型模型的广泛知识和能力。重要的是，这种个性化无需对大型模型进行微调。在电子邮件和文章数据集上的实验结果表明，我们的技术显著优于基线个性化方法。通过允许基础模型以数据和计算高效的方式适应个人偏好，我们的方法为高度个性化的语言模型应用铺平了道路。