arXiv:2504.13859v1 宣传类型: 交叉 摘要：AI，特别是大型语言模型（LLMs），如ChatGPT，在过去五年中迅速发展并获得了广泛的采用，使用户偏好了从传统搜索引擎。然而，LLMs 的生成性质引发了关于错误信息被当作事实呈现的担忧。为了解决这个问题，我们开发了一个基于Web的应用程序，旨在通过识别大语言模型对重大历史人物回答中的误导性信息来帮助K-12学生提高批判性思维能力。在这篇论文中，我们描述了DoYouTrustAI工具的实现和设计细节，该工具可以提供一个互动课程，教学生错误信息的危险性以及生成型AI使其看起来可信的机制。DoYouTrustAI工具利用提示工程向用户提供有关历史人物生平的AI生成摘要。这些摘要可以是对该人物生平的准确描述，也可以是故意扭曲的历史。用户需要在没有外部资源的情况下判断该陈述的真实性。我们在这项工作中的研究问题是：（RS1）我们如何设计一个工具来教学生有关误导性信息的危害以及错误信息在LLM回应中如何呈现？（RS2）我们能否将提示工程呈现为一个学生易于理解的话题？我们的研究发现强调了在用户记住误导性信息之前纠正其信息的必要性。该工具允许用户选择熟悉的个体进行测试以减少随机猜测，并将错误信息与已知事实并置以保持可信度。此外，该工具还提供了预配置的提示说明，以显示不同提示如何影响AI响应。这些功能共同创建了一个受控环境，使用户能够了解验证AI回应的重要性以及理解提示工程。