摘要
arXiv:2501.01031v3 宣布类型: replace-cross
摘要:确保大规模语言模型(LLMs)的文化价值观对齐仍然是一项关键挑战,因为这些模型往往会嵌入其训练数据中的西方中心主义偏见,导致跨文化交流应用中出现误表示和公平性问题。现有的方法如角色分配和少样本学习由于依赖预训练知识、可扩展性有限以及无法捕捉细微的文化价值观限制,难以有效解决这些局限性。为了解决这些问题,我们提出了ValuesRAG,这是一种新颖且有效的框架,该框架结合了检索增强生成(RAG)和上下文学习(ICL),在文本生成过程中动态地整合文化和社会人口学知识。利用全球价值观调查(WVS)数据集,ValuesRAG 首先为每个人生成价值观的摘要。随后,我们收集了多个代表性的区域数据集作为测试数据集,并根据社会人口学特征检索相关价值观摘要,之后进行重新排名步骤以选择最相关的k个摘要。我们在6个不同的区域数据集上评估了ValuesRAG,并展示了它在主要实验和消融设置中始终优于基线方法,包括零样本、角色分配、少样本以及混合方法。值得注意的是,ValuesRAG 在所有先前方法中总体表现最佳,证明了其在促进文化对齐和包容性人工智能系统方面的有效性。我们的研究结果强调了基于动态检索的方法在弥合全球LLM能力和本地文化价值观之间的差距方面的潜力。