摘要
arXiv:2502.15155v1 跨领域公告类型
摘要:近年来,互联网的广泛应用和社会媒体平台用户基数的增长,导致了极端言论在网络上的泛滥。虽然传统的语言模型在区分中性文本和非中性文本(即极端言论)方面表现出色,但对多种极端言论类型的分类仍面临重大挑战。极端言论分类任务尤为微妙,因为它要求深入了解社会文化背景,以便准确解读发言者的语言意图。即使是人类注释员也往往对这种内容的适当分类意见不一,这突显了该任务的复杂性和主观性。使用人类审查员也存在扩展问题,从而强调了需要自动系统来处理极端言论分类的必要性。ChatGPT的最近推出引起了人们对大型语言模型(LLM)在各种任务中的潜在应用的全球关注。LLM在广泛和多样化的语料库上进行训练,并显示出有效捕捉和编码上下文信息的能力,表明它们是处理这种特定极端言论分类任务的强大工具。在本文中,我们利用马龙尼卡里斯等人(2022)的极端言论数据集中的印度子集,利用LLM开发了一个有效的分类框架。我们评估了开源Llama模型和闭源的OpenAI模型,发现尽管预训练的语言模型显示出一定的有效性,但在领域特定数据上进行微调能够显著增强性能,突显了它们对语言和上下文细微差别的适应能力。虽然基于GPT的模型在零样本设置下优于Llama模型,但在微调后,性能差距消失。