LLM2D
人类可以学会检测AI生成的文本,或者至少学会何时无法检测
Humans can learn to detect AI-generated texts, or at least learn when they can't
作者: Ji\v{r}\'i Mili\v{c}ka, Anna Marklov\'a, Ond\v{r}ej Drobil, Eva Posp\'i\v{s}ilov\'a
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.01877v1

摘要

arXiv:2505.01877v1 交叉学科类型 摘要:本研究探讨了在提供即时反馈的情况下,个体是否能够学会准确区分人写的和AI生成的文字,以及他们能否利用反馈来重新校准其自我认知的能力。我们还探讨了个体在做出这些判断时依赖的具体标准,重点是文本风格和可读性。 我们使用GPT-4o生成了几百篇跨不同体裁和文本类型的文本,类似于Koditex,即一个人写的多体裁语料库。然后,我们随机向255名捷克母语者展示了随机配对的文字,让他们判断哪个文本是人写的,哪个是AI生成的。参与者被随机分配到两个条件组:一组在每次试验后接收即时反馈,另一组在实验结束前不接收反馈。我们记录了他们在识别准确性、信心水平、反应时间和对文本可读性的判断,以及人口统计学数据和参与者在实验前与AI技术的互动情况。 接受即时反馈的参与者在准确性和信心校准方面表现出显著提高。参与者最初对AI生成文本特征持有错误假设,包括对风格僵化和可读性的预期。值得注意的是,在没有反馈的情况下,参与者在感觉最自信时犯了最多的错误——这一问题在反馈组中得到了很大程度的解决。 通过针对性的培训和明确的反馈,个体能够有效学会区分人写的和AI生成的文本,这有助于纠正人们关于AI风格特征和可读性的误解,以及其他未探索的潜在变量,从而促进更准确的自我评估。这一发现可能在教育环境中尤为重要。