摘要
arXiv:2505.01877v2 Announce Type: 穿越
摘要:这项研究探讨了当向个体提供即时反馈时,他们是否能够学会准确区分人类撰写和AI生成的文本,并利用这种反馈重新校准其自我认知的熟练程度。我们还探讨了个体在做出这些判断时依赖的具体标准,重点关注文本的风格和可读性。
我们使用GPT-4o生成了几百篇跨越各种体裁和文本类型的文本,这些文本与Koditex(一个包含人类撰写的多级语料库)相当。然后,我们向255名捷克母语者展示了随机化的文本配对,要求他们判断哪些文本是人类撰写的,哪些是AI生成的。参与者被随机分配到两个条件中:一个在每次试验后接收即时反馈,另一个在实验结束前不接收任何反馈。我们记录了识别准确性、信心水平、反应时间以及对文本可读性的判断,同时还收集了人口统计学数据以及参与者在实验前对AI技术的使用情况。
接收即时反馈的参与者在准确性和信心校准方面显示出显著改进。参与者最初对AI生成的文本特征存在错误的假设,包括对风格刚性和可读性的期望。值得注意的是,在没有反馈的情况下,参与者在最自信时犯了最多的错误——这一问题在反馈组中得到了很大程度的解决。
通过目标训练和明确反馈,区分人类和AI生成的文本的能力可以有效学习,这有助于纠正对AI风格特征和可读性的误解,以及其他未探索的变量,同时促进更准确的自我评估。这一发现可能在教育环境中尤为关键。