LLM2D
局部文化知识在大型语言模型中得以保存并可控
Localized Cultural Knowledge is Conserved and Controllable in Large Language Models
作者: Veniamin Veselovsky, Berke Argin, Benedikt Stroebl, Chris Wendler, Robert West, James Evans, Thomas L. Griffiths, Arvind Narayanan
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.10191v1

摘要

arXiv:2504.10191v1 交叉公告类型 摘要: 就像人类在说新语言时会受到母语的影响,LLMs 在生成其他语言的内容时往往默认使用以英语为中心的回应。尽管如此,我们观察到本地文化信息仍然存在于模型中,并且可以很容易地激活以进行文化定制。我们首先证明,明确提供文化背景在提示中可以显著提高模型生成文化本地化回应的能力。我们将模型在有与没有明确文化背景之间的性能差异称为显式-隐式本地化差距,这表明虽然文化知识存在于LLMs中,但如果未提供明确的文化背景,文化知识可能不会自然地在多语言交互中浮现。尽管存在明确提示的好处,但是回答在多样性和减少刻板印象方面有所减少。其次,我们发现一种适用于我们探索的所有非英语语言的明确文化定制向量,可以使LLMs从合成的英语文化世界模型引导到每个非英语文化的世界。引导后的回应保留了隐式提示的多样性,并减少了刻板印象,以极大地提高定制的可能性。我们讨论了明确文化定制在理解LLMs中保留的替代文化世界模型的保守性及其在翻译、文化定制方面的可控实用性,并讨论了通过柔和控制扩展LLMs功能和吸引力的可能性。