LLM2D
设计领域特定的大型语言模型:微调在公众舆论模拟中的关键作用
Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation
作者: Haocheng Lin
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.19308v1

摘要

大型语言模型 (LLM) 已经改变了各个领域的自然语言处理,但其通用设计限制了它们在专门领域(如模拟环境政策方面的意见)的有效性。本文提出了一种使用来自英国家庭纵向研究的数据微调 LLM 的方法,通过根据年龄、收入、教育和地区等社会人口因素对模型进行条件化,提高了意见生成的准确性。通过模拟不同的合成个人资料,微调后的模型比预训练版本更有效地捕捉了不同人口群体之间的细微差异。卡方检验、余弦相似度、Jaccard 指数和 KL 散度等指标表明,合成意见数据与现实世界意见数据之间存在很强的一致性。这种方法突出了微调 LLM 的潜力,可以为环境问题上的公众情绪提供更明智、更具代表性和更合乎道德的见解。研究结果强调了为特定社会环境定制 LLM 的重要性,以便更准确和合乎道德地进行政策模拟。