摘要
arXiv:2502.13297v1 交叉类型公告
摘要:自然语言理解(NLU)是一项使机器能够理解人类语言的任务。某些任务,如立场检测和情感分析,与个体的主观视角密切相关,因此称为个体水平的NLU。此前,这些任务通常被简化为文本级别的NLU任务,忽略了个体因素的影响。这不仅使得推理变得困难且难以解释,还往往导致在创建数据集时产生大量的标签错误。为了克服这些限制,我们提出了一种新的基于个体水平因素的NLU标注指南。具体来说,我们结合了同一个体的其他帖子,然后在考虑所有个体的帖子后标注个体的主观视角。我们使用这一指南扩展并重新标注了立场检测和基于主题的情感分析数据集。我们发现,样本中的错误率高达31.7%和23.3%。进一步地,我们使用大型语言模型在重新标注的数据集上进行了实验,并发现大型语言模型在添加个体因素后在两个数据集上表现良好。GPT-4o和Llama3-70B均在重新标注的数据集上实现了超过87%的准确率。我们还通过消融研究验证了个体因素的有效性。我们呼吁未来的研究者在创建此类数据集时加入个体因素。我们的重新标注数据集可在https://github.com/24yearsoldstudent/Individual-NLU找到。