大型语言模型展现出令人印象深刻的推理能力，但由于缺乏个人用户偏好信息，它们难以提供个性化内容。现有的方法，如上下文学习和参数高效微调，在捕捉人类偏好的复杂性方面存在不足，尤其是在个人拥有的数据集较小的情况下。本文提出了一种新方法，利用小型参数模型作为偏好代理来生成自然语言规则，指导较大的预训练模型，实现高效的个性化。我们的方法涉及一个小型、本地“方向盘”模型，它引导一个更大的基础模型的输出，产生符合个人偏好的内容，同时利用大型模型的广泛知识和能力。重要的是，这种个性化是在无需微调大型模型的情况下实现的。在电子邮件和文章数据集上的实验结果表明，我们的技术显著优于基线个性化方法。通过允许基础模型以数据和计算高效的方式适应个人偏好，我们的方法为高度个性化的语言模型应用铺平了道路。