LLM2D
超越检测:设计具有自动反馈工具的AI抵抗评估以培养批判性思维
Beyond Detection: Designing AI-Resilient Assessments with Automated Feedback Tool to Foster Critical Thinking
作者: Muhammad Sajjad Akbar
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.23622v1

摘要

arXiv:2503.23622v1 通知类型: 新 摘要:生成式AI工具如ChatGPT的日益广泛应用引起了对其对学生学习影响的紧迫担忧,特别是这种工具可能侵蚀批判性思维和创造力的潜在风险。随着学生越来越多地依赖这些工具来完成评估,基础认知技能可能会被绕过,这挑战了高等教育的完整性和学生作品的真实性。现有的AI生成文本检测工具不充分;它们会产生不可靠的结果,并且容易产生误报和漏报,尤其是在学生运用改写、翻译或重新措辞时。这些系统依赖于浅层的统计模式而非真正的上下文或语义理解,使其不适合作为AI滥用的最终指标。作为回应,本研究提出了一种基于评估设计而非检测的主动、抗AI解决方案。它介绍了一个基于Web的Python工具,结合了布卢姆分类法和先进的自然语言处理技术,包括GPT-3.5 Turbo、基于BERT的语义相似性和TF-IDF度量,以评估评估任务的AI可解性。通过分析表面级和语义特征,该工具帮助教育者确定任务是针对低阶思维如记忆和总结,还是针对高阶技能如分析、评估和创造,这些技能更抗AI自动化。该框架赋予教育者能力设计出认知要求高、抗AI的评估任务,促进原创性、批判性思维和公平性。它提供了一种可持续且教育学上可行的策略,促进真实的学习并维护在AI时代学术标准。