LLM2D
大型语言模型能在社交媒体疫苗 Debate 中协助标注员识别道德框架吗?
Can LLMs Assist Annotators in Identifying Morality Frames? -- Case Study on Vaccination Debate on Social Media
作者: Tunazzina Islam, Dan Goldwasser
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2502.01991v2

摘要

arXiv:2502.01991v2 宣告类型: 交叉 摘要: 如今,社交媒体在塑造公共话语方面起着关键作用,尤其是在疫苗等立场分歧的问题上,不同的道德观点影响着个人的意见。在自然语言处理(NLP)中,数据稀缺性和心理语言学任务的复杂性,如识别道德框架,使得仅仅依赖人类注释员的成本高且耗时,且由于认知负担大而容易出现不一致。为了解决这些问题,我们利用了大型语言模型(LLMs),这些模型善于通过少样本学习来适应新任务,利用少量上下文中的示例及其与任务原理的联系进行解释。我们的研究探讨了在社交媒体上的疫苗辩论中,LLMs 有可能帮助人类注释员识别道德框架。我们采用两步过程:使用LLMs生成概念和解释,然后使用“ Think-Aloud ”工具进行人工评估。研究表明,将LLMs整合到注释过程中可以提高准确性,降低任务难度,减少认知负担,表明人类与AI在复杂心理语言学任务中的协作具有前景。