摘要
arXiv:2505.01877v3 通知类型: 替换-交叉
摘要:本研究探讨了在提供即时反馈的情况下,个体能否学会准确区分人类编写的文本和AI生成的文本,并且能否利用这种反馈重新评估自己的能力水平。我们还研究了个体在做这些判断时依赖的具体标准,重点是文本风格和可读性。
我们使用GPT-4o生成了几百篇不同体裁和类型的文本,这些文本与Koditex相媲美,Koditex是一个包含多版权的大型人工编写的文本语料库。然后我们向254名捷克母语者呈现了随机化的文本对,并要求他们分辨哪些是人类编写的,哪些是AI生成的。参与者被随机分配到两个条件组中:一组在每次试验后接收即时反馈,另一组在实验结束后才接收反馈。我们记录了参与者对文本的识别准确性、信心水平、反应时间、关于文本可读性的判断以及人口统计信息和参与者在实验前对AI技术的接触程度。
接收即时反馈的参与者在准确性和信心校准方面表现出显著改善。参与者最初对AI生成的文本特征持有错误的假设,包括对风格 rigid性和平易性的期望。值得注意的是,在没有反馈的情况下,参与者在感到最自信的时候最容易犯错误——这个问题在反馈组中得到了很大程度的解决。
通过针对性的培训并提供明确的反馈,可以有效地学会区分人类和AI生成的文本,这有助于纠正对AI风格特征和可读性的错误认识,以及其他未探索的变量,从而促进更准确的自我评估。这一发现可能特别重要,尤其是在教育环境中。