LLM2D
社交媒体跨领域论证立场分类基准测试
A Benchmark for Cross-Domain Argumentative Stance Classification on Social Media
作者: Jiaqing Yuan, Ruijie Xi, Munindar P. Singh
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08900v1

摘要

论证立场分类在识别作者对特定主题的观点方面起着关键作用。然而,在各个领域生成多样化的论证句子对是具有挑战性的。现有的基准通常来自单一领域或专注于有限的主题集。此外,为了进行准确的标记,人工标注非常耗时且费力。为了应对这些挑战,我们建议利用平台规则、现成的专家策划内容和大型语言模型来绕过对人工标注的需求。我们的方法构建了一个多领域基准,包含来自三个来源的 4,498 个主题声明和 30,961 个论证,涵盖 21 个领域。我们在完全监督、零样本和少样本设置下对数据集进行了基准测试,揭示了不同方法的优缺点。我们将在隐蔽处发布本研究中的数据集和代码,以确保匿名性。