摘要
arXiv:2505.01877v1 交叉学科类型
摘要:本研究探讨了在提供即时反馈的情况下,个体是否能够学会准确区分人写的和AI生成的文字,以及他们能否利用反馈来重新校准其自我认知的能力。我们还探讨了个体在做出这些判断时依赖的具体标准,重点是文本风格和可读性。
我们使用GPT-4o生成了几百篇跨不同体裁和文本类型的文本,类似于Koditex,即一个人写的多体裁语料库。然后,我们随机向255名捷克母语者展示了随机配对的文字,让他们判断哪个文本是人写的,哪个是AI生成的。参与者被随机分配到两个条件组:一组在每次试验后接收即时反馈,另一组在实验结束前不接收反馈。我们记录了他们在识别准确性、信心水平、反应时间和对文本可读性的判断,以及人口统计学数据和参与者在实验前与AI技术的互动情况。
接受即时反馈的参与者在准确性和信心校准方面表现出显著提高。参与者最初对AI生成文本特征持有错误假设,包括对风格僵化和可读性的预期。值得注意的是,在没有反馈的情况下,参与者在感觉最自信时犯了最多的错误——这一问题在反馈组中得到了很大程度的解决。
通过针对性的培训和明确的反馈,个体能够有效学会区分人写的和AI生成的文本,这有助于纠正人们关于AI风格特征和可读性的误解,以及其他未探索的潜在变量,从而促进更准确的自我评估。这一发现可能在教育环境中尤为重要。