LLM2D
人工智能面前的人类偏见:人类判断在人工智能生成文本评估中的作用
Human Bias in the Face of AI: The Role of Human Judgement in AI Generated Text Evaluation
作者: Tiffany Zhu, Iain Weissburg, Kexun Zhang, William Yang Wang
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.03723v1

摘要

随着人工智能在文本生成领域取得进展,人类对人工智能生成内容的信任仍然受到偏见的影响,而这种偏见超越了对准确性的担忧。本研究探讨了偏见如何影响人们对人工智能生成内容和人类生成内容的感知。通过三个涉及文本改写、新闻文章摘要和说服性写作的实验,我们调查了人类评审员如何对标注和未标注的内容做出反应。虽然评审员在盲测中无法区分两种类型的文本,但他们 overwhelmingly favored 被标注为“人类生成”的内容,超过那些被标注为“人工智能生成”的内容,偏好分数超过 30%。即使标签被故意调换,我们也观察到了相同的模式。这种对人工智能的负面偏见对社会和认知具有更广泛的影响,因为它低估了人工智能的表现。本研究强调了人类在与人工智能互动时判断力的局限性,并为改善人机协作提供了基础,尤其是在创意领域。