arXiv:2405.01768v3 通告类型: 替换-交叉 摘要: 为了提供高质量的个性化回复，大型语言模型（LLMs）必须有效地整合上下文信息——特定于最终用户的个人、人口统计和文化信息。例如，当要求模型用“我是一个幼儿”作为上下文解释牛顿第二定律时，其回复应该与“我是一名物理学教授”作为上下文时有所不同。然而，在实践中利用上下文是一项复杂且具有挑战性的任务，通常依赖于具体情况或用户群体。模型必须在提供具体的个性化回复和保持普遍适用性之间找到平衡。当前的解决方案，如提示工程和微调，需要收集上下文适当的例子来进行示例，这使得它们耗时且难以在不同上下文中使用。在本文中，我们介绍了上下文导向（CoS）——一种简单、无需训练的解码方法，可以增强上下文在下一个词预测中的影响。CoS通过比较包含和不包含上下文的两个LLM前向传递的输出概率来计算上下文影响。通过线性缩放上下文影响，CoS允许从业者灵活地控制不同用例中的个性化程度。我们展示了CoS可以应用于自回归LLMs，并在个性化推荐方面表现出强劲性能。此外，我们展示了CoS可以作为一种贝叶斯生成模型，用于推断和量化开放文本之间的相关性，从而拓宽了其潜在应用领域。